Faits :
A.
A.A._ détient l'entier du capital-actions, soit 800 actions au porteur, et est administrateur président avec signature individuelle de la société C._ SA (ci-après: la Société), dont le but est l'acquisition, le financement et l'administration de participations dans toutes entreprises commerciales, financières et industrielles et toutes opérations se rattachant à ce but. La Société détient notamment le capital-actions de la société D._ SA.
En 2006 ou en 2007, la Société a octroyé à A.A._ un prêt qui, au 31 décembre 2007, s'élevait à 171'934 francs.
Dans leur déclaration d'impôt pour l'année 2008, A.A._ et son épouse B.A._ ont reporté, en déduction de leur fortune, la dette de A.A._ envers la Société pour un montant de 4'226'102 fr. et, en déduction de leurs revenus, des intérêts passifs de cette dette, à hauteur de 133'025 francs. Dans ses décisions de taxation 2008 du 27 octobre 2010, portant sur l'impôt fédéral direct et sur l'impôt cantonal et communal, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale) n'a pas remis en question ces déductions, mais s'est écartée des éléments déclarés sur d'autres points, raison pour laquelle les contribuables ont formé une réclamation contre ces décisions.
Dans la déclaration d'impôt du couple pour l'année 2010, la dette de A.A._ à l'égard de la Société figurait pour un montant de 4'228'195 francs. Les contribuables n'ont en revanche pas revendiqué la déduction d'intérêts passifs.
Le 3 mars 2011, A.A._ et la Société ont signé un contrat de prêt, par lequel A.A._ reconnaissait devoir à la Société un montant de 5'175'432.04 francs. Le prêt, destiné à financer divers investissements de A.A._, portait intérêt au taux minimal applicable selon les directives de l'Administration fédérale des contributions. Le contrat prévoyait des intérêts moratoires, un plan de remboursement, échelonné du 31 décembre 2015 au 31 décembre 2024, ainsi que la possibilité de procéder à un remboursement anticipé. Par contrat de gage du même jour, A.A._ a remis à la Société 350 de ses propres actions en garantie du prêt. En mars 2016, les parties ont convenu de proroger la première échéance de remboursement au 30 juin 2016.
Dans ses décisions de taxation du 28 novembre 2016 concernant l'impôt fédéral direct et l'impôt cantonal et communal 2010, l'Administration cantonale n'a pas remis en cause la déduction de la dette de A.A._ envers la Société, mais s'est écartée de la déclaration d'impôt sur d'autres éléments, ce qui a donné lieu à une nouvelle réclamation des intéressés.
Le 3 novembre 2017, l'Administration cantonale a informé les contribuables de son intention de réformer ses décisions de taxation 2008 et 2010 en leur défaveur sur plusieurs points, et notamment en rajoutant à leurs revenus, au titre de prestations appréciables en argent (prêts simulés), les montants de 4'054'167 fr. en 2008 et de 949'431 fr. en 2010, cette dernière somme représentant la variation du prêt entre 2008 et 2010 (le montant de la dette en 2010 correspondant à celle constatée dans le contrat de prêt précité du 3 mars 2011). Dans leurs déterminations, les contribuables ont contesté toute reprise en lien avec les prêts.
B.
Par décisions sur réclamation du 9 février 2018 portant sur l'impôt fédéral direct et l'impôt cantonal et communal, l'Administration cantonale a modifié les décisions de taxation 2008 et 2010 des contribuables en leur défaveur en ramenant la dette de A.A._ à son niveau existant au 31 décembre 2007 (soit à 171'934 fr.), en rajoutant à leurs revenus imposables un montant de 4'054'167 fr. en 2008 et de 949'431 fr. en 2010 au titre de prestations appréciables en argent et en supprimant la déduction des intérêts passifs revendiquée en 2008.
Le 14 mars 2018, les contribuables ont recouru contre ces décisions sur réclamation auprès du Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal administratif), concluant à l'annulation des reprises effectuées dans leurs revenus au titre de prêts simulés, ainsi qu'à la prise en compte des intérêts passifs.
Par jugement du 11 novembre 2019, le Tribunal administratif a rejeté le recours.
Contre ce jugement, les contribuables ont recouru auprès de la Cour de justice, Chambre administrative, du canton de Genève (ci-après: la Cour de justice), concluant à son annulation et au renvoi de la cause à l'Administration cantonale pour qu'elle supprime les revenus additionnels de 4'054'167 fr. en 2008 et de 949'431 fr. en 2010, qu'elle tienne compte des intérêts passifs déductibles par 133'025 fr. en 2008 et par 101'896 fr. en 2010, qu'elle déduise de leur fortune les dettes de 4'226'102 fr. en 2008 et de 5'175'532 fr. en 2010 et qu'elle prenne par ailleurs en compte d'autres éléments, tant en leur faveur qu'en leur défaveur (compte Swissquote non déclaré à ajouter, dettes fiscales et frais immobiliers à déduire). Subsidiairement, ils concluaient, en lien avec le prêt accordé à A.A._, à ce que les reprises soient limitées aux intérêts passifs qu'ils n'avaient pas effectivement payés en 2008 et 2010, soit à 133'025 fr. en 2008 et à 101'896 fr. en 2010. De son côté, l'Administration cantonale a conclu à la reformatio in pejus de ses décisions sur réclamation, afin qu'y soit inclus le compte bancaire non déclaré que les contribuables avaient annoncé dans leurs recours à la Cour de justice.
La Cour de justice a statué le 23 juin 2020. Elle a confirmé la reprise des montants de 4'054'167 fr. en 2008 et de 949'431 fr. en 2010. S'agissant des autres conclusions des contribuables (compte Swissquote non déclaré à ajouter, dettes fiscales et frais immobiliers à déduire), elle n'est pas entrée en matière, au motif que ces éléments, invoqués pour la première fois devant elle, n'avaient pas été examinés par le Tribunal administratif et qu'ils ne faisaient donc pas partie de l'objet du litige devant elle. En conséquence, la Cour de justice a rejeté le recours dans la mesure de sa recevabilité.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, principalement, de réformer l'arrêt du 23 juin 2020 de la Cour de justice et de constater qu'aucun ajustement de leur revenu imposable n'est justifié pour les périodes 2008 et 2010 en lien avec le prêt, tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal; subsidiairement, de réformer l'arrêt attaqué en remplaçant, pour 2008, le revenu additionnel de 4'054'167 fr. par une prestation appréciable en argent de 133'025 fr. et, pour la période 2010, le revenu additionnel de 949'431 fr. par une prestation appréciable en argent de 101'896 fr.; plus subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause à la Cour de justice pour nouvelle décision dans le sens des considérants.
La Cour de justice s'en tient à son arrêt. L'Administration cantonale et l'Administration fédérale des contributions concluent au rejet du recours, sous suite de frais. Les recourants ont déposé des observations.

Considérant en droit :
I. Recevabilité et points de procédure
1.
1.1. Le recours est dirigé contre une décision finale (cf. <ref-law>) rendue dans une cause de droit public (cf. <ref-law>), par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, de sorte que la voie du recours en matière de droit public est ouverte (cf. aussi l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
1.2. L'instance précédente a traité dans un seul arrêt de l'impôt fédéral direct et de l'impôt cantonal et communal, ce qui est admissible (<ref-ruling> consid. 1.3.1). Partant, le dépôt d'un seul acte de recours est aussi autorisé, dans la mesure où les recourants s'en prennent clairement aux deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.2), ce qui est le cas en l'espèce.
1.3. Au surplus, le recours a été déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2 LTF et <ref-law>) par les recourants, qui ont qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Selon l'<ref-law> toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (ATF III 364 consid. 2.4; <ref-ruling> consid. 1.3).
2.2. Le Tribunal fédéral examine en principe librement la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID, à moins que les dispositions de cette loi fédérale ne laissent une marge de manoeuvre aux cantons, auquel cas le pouvoir d'examen du Tribunal fédéral se limite aux griefs constitutionnels, en particulier à l'arbitraire, invoqués et motivés de manière conforme aux exigences de l'<ref-law> (<ref-ruling> consid. 5.3; <ref-ruling> consid. 2).
3.
Pour statuer, le Tribunal fédéral se fonde sur les faits établis par l'autorité précédente (cf. <ref-law>), sous réserve des situations visées à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6; <ref-ruling> consid. 1.6). Les faits et les critiques sur les constatations de l'arrêt attaqué qui sont invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 1.3; <ref-ruling> consid. 3.6.2), le Tribunal fédéral étant juge du droit et non pas une instance d'appel (cf. arrêts 2C_814/2020 du 18 mars 2021 consid. 2.2; 2C_922/2018 du 13 mai 2019 consid. 3).
4.
Devant le Tribunal fédéral, le litige porte uniquement sur le point de savoir si les montants de 4'054'167 fr. et de 949'431 fr. que la Société a octroyés au recourant 1 en 2008 et en 2010 doivent être rajoutés aux revenus des recourants pour les périodes fiscales correspondantes au titre de prestations appréciables en argent.
Dans l'arrêt attaqué, les juges précédents ont retenu que ces reprises étaient justifiées, car la Société n'aurait jamais prêté ces montants à un tiers dans les mêmes circonstances. En effet, les statuts de la Société ne prévoyaient pas la possibilité d'octroyer des prêts. En tant que société holding, l'octroi de crédits ne faisait pas partie de ses buts. Le prêt, qui s'élevait à 171'934 fr. au 31 décembre 2007, à 4'226'101 fr. au 31 décembre 2008 et à 5'175'522 fr. au 31 décembre 2010, n'avait cessé d'augmenter par la suite, jusqu'à son remboursement en 2018. Les intérêts passifs n'avaient pas été payés, mais uniquement rajoutés au compte actionnaire du recourant 1au sein de la Société. Les avances litigieuses n'avaient pas fait l'objet d'un contrat de prêt écrit ni d'une garantie lors de leur octroi. Le contrat de prêt et le contrat de gage qui avaient été signés en mars 2011 entre la Société et le recourant 1 avaient une force probante douteuse, dès lors qu'ils avaient été conclus plusieurs années après l'octroi du prêt, que le recourant 1 pouvait en tout temps révoquer le directeur qui les avait signés au nom de la Société et que, au 31 décembre 2011, le prêt avait déjà plus que doublé, pour atteindre la somme de 11'995'129 fr., sans qu'un nouveau contrat de prêt n'ait, semble-t-il, été conclu. En 2008 et en 2010, le prêt représentait plus de 20% de la valeur comptable des actifs de la Société, respectivement 36% et 38% de ses fonds propres et cinq à six fois son capital-actions, même s'il fallait reconnaître que la Société présentait des réserves latentes importantes en raison, notamment, de sa participation dans D._ SA. Quant à la situation financière du recourant, elle était certes favorable au vu de ses revenus importants (650'000 fr.) et de sa fortune conséquente (environ 44 mio de francs en 2008 et plus de 48 mio de francs en 2010), mais sa fortune mobilière était presque exclusivement composée des actions de la Société, ce qui mettait en doute sa capacité de remboursement. A cela s'ajoutait que les recourants n'avaient pas prouvé avoir procédé, comme ils l'alléguaient, à des remboursements partiels de la dette en 2016 et 2017, la pièce présentée comme prouvant ces versements, à savoir un simple tableau Excel à l'en-tête de la Société, n'ayant pas de force probante suffisante. Quoi qu'il en soit, ni ces remboursements partiels allégués, ni le fait que la dette avait été entièrement remboursée en 2018 n'étaient déterminants, puisqu'il s'agissait de faits postérieurs aux périodes litigieuses. En outre, le point de savoir si le prêt avait été remboursé n'était déterminant que pour juger si le prêt avait été simulé. Or, comme il ressortait des circonstances du cas d'espèce que les prêts accordés l'avaient été d'une manière non conforme au principe de pleine concurrence, ils représentaient des prestations appréciables en argent imposables justifiant leur reprise dans le revenu des recourants sans qu'il soit nécessaire de prouver que l'on était en présence de prêts simulés. Enfin, les recourants invoquaient en vain la décision du 10 août 2017 de l'Administration fédérale des contributions qui, au terme d'un contrôle fiscal portant sur l'impôt anticipé mené auprès de la Société pour les années 2011 à 2014, avait considéré que la prestation appréciable en argent accordée à l'actionnaire en lien avec le prêt correspondait (seulement) aux intérêts passifs insuffisants. Cette décision ne signifiait pas que l'Administration fédérale des contributions avait considéré que le prêt à l'actionnaire ne constituait pas en lui-même une prestation appréciable en argent imposable et elle ne liait de toute manière pas les autorités cantonales.
II. Griefs relatifs à l'établissement des faits
5.
Invoquant l'<ref-law> en lien avec l'art. 9 Cst., les recourants reprochent à la Cour de justice d'avoir remis en cause les remboursements effectués de manière choquante et en contradiction évidente avec la situation de fait.
5.1. Lorsque la partie s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire (art. 9 Cst.) que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
5.2.
5.2.1. En l'espèce, la pièce que les recourants ont produite dans leur recours auprès de la Cour de justice pour prouver l'existence de remboursements partiels en 2016 et 2017 est un tableau Excel non signé et imprimé sur une feuille à l'en-tête de la Société, qui mentionne l'existence de trois remboursements: un remboursement de 692'420 fr. en juin 2016, un remboursement de 500'000 fr., en décembre 2016 et un remboursement de 500'000 fr. en décembre 2017. Avec les juges précédents, force est de constater que ce seul document ne permet pas de tenir pour établis les remboursements qui y sont mentionnés. C'est donc sans arbitraire que la Cour de justice en a conclu que cette pièce ne prouvait pas les remboursements allégués en 2016 et 2017.
5.2.2. Les recourants reprochent à la Cour de justice d'avoir arbitrairement retenu que les remboursements allégués en 2016 et 2017 n'étaient pas prouvés, alors que leur existence était également corroborée par les comptes de C._ SA (cf. note 6.3 des comptes 2016 et 2017, rubrique "Prêts à l'actionnaire"), qui étaient pourtant joints à leur recours.
Il ressort du recours à la Cour de justice que, pour prouver les remboursements partiels de 2016 et 2017, les recourants n'ont produit que le tableau Excel susmentionné. On peut se demander si on peut reprocher à la Cour de justice d'être tombée dans l'arbitraire en n'examinant pas d'office les comptes 2016 et 2017 de C._ SA, qui étaient certes aussi joints au recours cantonal, alors que, dans leur mémoire, les recourants n'ont pas du tout mentionné ces pièces au titre de preuve des remboursements. Cette question peut rester indécise en l'espèce puisque ces pièces ne prouvent pas non plus les remboursements allégués. En effet, la rubrique "Prêts à l'actionnaire", des bilans 2016 et 2017 de la Société ne fait pas apparaître les montants de remboursements allégués (soit 692'420 fr. et 500'000 fr. en 2016 et 500'000 fr. en 2017). On peut seulement y voir que le prêt à l'actionnaire a diminué, passant de 21'377'425 au 31.12.2015 à 20'402'880 fr. au 31.12.2016 (diminution de 974'545 fr. en 2016) et à 15'333'721 fr. au 31.12.2017 (diminution de 5'069'159 fr. en 2017). Ces diminutions de la dette ne correspondent ainsi pas aux remboursements allégués, et elles ne prouvent de toute manière pas qu'elles proviendraient de remboursements (il pourrait s'agir d'abandons de créances). Les comptes 2016 et 2017 de la Société ne prouvent donc pas l'existence des remboursements allégués.
5.3. C'est donc sans arbitraire que la Cour de justice a estimé que les recourants n'avaient pas prouvé l'existence de remboursements de la dette en 2016 et 2017.
5.4. S'agissant du point de savoir si la dette a bien été remboursée en 2018, comme l'allèguent aussi les recourants, il faut souligner que le fait qu'une dette de prêt soit remboursée après que l'autorité fiscale qualifie le prêt de prêt simulé peut, selon les circonstances, être considéré comme abusif (cf. ci-dessous consid. 7.2.3 2e §). Quoi qu'il en soit, cette question peut rester indécise en l'espèce, car le recours doit de toute manière être admis pour un autre motif.
III. Impôt fédéral direct
6.
Les recourants soutiennent que la Cour de justice a violé l'art. 20 al. 1 let. c LIFD et qu'elle s'est écartée de la jurisprudence publiée du Tribunal fédéral in <ref-ruling> en procédant aux reprises litigieuses sans examiner si les prêts avaient été simulés, alors qu'en matière de prêts à l'actionnaire, une reprise de la dette de prêt ne serait envisageable que dans une telle configuration. En l'occurrence, le seul critère susceptible de constituer un indice de simulation était l'absence de paiement effectif d'intérêts passifs, ceux-ci ayant uniquement été rajoutés au compte actionnaire du recourant 1, ce qui serait insuffisant pour conclure, au vu de l'ensemble des circonstances, que les prêts ont été simulés. Selon les recourants, les montants litigieux ont été prêtés au recourant 1 de manière conforme au principe de pleine concurrence et ne justifient aucune reprise fiscale. Si l'existence de prestations appréciables en argent devait néanmoins être retenue, la reprise ne pourrait porter, subsidiairement, que sur les intérêts passifs de 133'025 fr. en 2008 et de 101'896 fr., en 2010 qu'ils n'ont pas payés.
7.
Selon l'art. 20 al. 1 let. c LIFD, est imposable le rendement de la fortune mobilière, en particulier les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre. Il y a avantage appréciable en argent si 1) la société fait une prestation sans obtenir de contre-prestation correspondante; 2) cette prestation est accordée à un actionnaire ou à une personne le ou la touchant de près; 3) elle n'aurait pas été accordée à de telles conditions à un tiers; 4) les organes de la société savaient ou auraient pu se rendre compte de l'avantage qu'ils accordaient (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.2).
7.1. Comme le rappellent les recourants, une société de capitaux est libre d'accorder un prêt à son actionnaire, dans la mesure et aux conditions auxquelles un tiers pourrait accéder dans les mêmes circonstances. Le prêt représente toutefois une prestation appréciable en argent dans la mesure où l'opération s'écarte des conditions qui auraient été offertes à un tiers, respectivement s'écarte des usages et des affaires habituelles conformes au marché (<ref-ruling> consid. 3.1). Tel est notamment le cas si le prêt n'est pas couvert par le but social ou qu'il s'avère inhabituel au regard de la structure du bilan (autrement dit, lorsque le prêt n'est pas couvert par les moyens existants de la société ou qu'il apparaît excessivement élevé par rapport aux autres actifs et qu'il génère ainsi un gros risque), en cas de doutes sérieux sur la solvabilité du débiteur ou lorsqu'aucune garantie n'est prévue et qu'il n'existe aucune obligation de remboursement, si les intérêts ne sont pas payés mais qu'ils sont portés en augmentation du compte d'emprunt et qu'il n'existe pas de convention écrite (<ref-ruling> consid. 3.2). La prestation appréciable en argent peut consister soit dans la mise à disposition d'un montant sans que son remboursement ne soit envisagé, soit dans la renonciation par la société prêteuse à une contreprestation adaptée au risque encouru. Dans le premier cas, la prestation appréciable en argent correspond au montant remis à l'actionnaire, dans le second à la différence le taux d'intérêt appliqué et le taux d'intérêt qu'elle aurait exigé d'un tiers (cf. <ref-ruling> consid. 3.2, 6.1, 6.2, 7.4.1 et 7.5; arrêt 2C_872/2021 du 2 mars 2021 consid. 3.2). Pour simplifier la mise en oeuvre du principe de pleine concurrence dans ce deuxième cas de figure, l'Administration fédérale publie chaque année une lettre-circulaire sur les taux d'intérêts admis fiscalement sur les avances ou les prêts aux actionnaires en francs suisses. Cette directive indique les taux d'intérêts minima qui, s'ils sont appliqués aux prêts accordés aux actionnaires, excluent en principe toute reprise fiscale pour intérêts insuffisants ("safe harbour rules"; sur cette directive et sa validation par le Tribunal fédéral, cf. <ref-ruling> consid. 5 à 7).
7.2. En ce qui concerne la dette de prêt elle-même, il n'y a pas de prestation appréciable en argent si l'actionnaire à qui la société a prêté est tenu, comme tout emprunteur tiers, au remboursement. Il en va différemment s'il n'y a pas lieu de compter avec le remboursement du prêt, parce que les parties ne l'ont pas envisagé ou que l'on ne doit pas compter sur un remboursement (<ref-ruling> consid. 5). La jurisprudence parle, pour qualifier ces situations, de prêts "simulés" (<ref-ruling> consid. 5 et 5.1), mais il n'est pas nécessaire pour autant de prouver que les conditions strictes d'une simulation au sens du droit civil (<ref-law>; sur la notion, cf. arrêt 4A_484/2018 du 10 décembre 2019 consid. 4.1; cf. aussi arrêt 2C_42/2014 du 17 octobre 2014 consid. 3.3) soient remplies. C'est en ce sens qu'il faut comprendre les arrêts, cités par les recourants, qui soulignent qu'une reprise du capital mis à disposition au titre de prêt peut représenter une prestation appréciable en argent indépendamment du point de savoir si on est en présence d'une simulation, aux conditions strictes de l'<ref-law> (arrêts 2C_927/2013 du 21 mai 2014 consid. 5.7.2; 2C_896/2018 du 29 août 2019 consid. 5.4.1; 2C_98/2019 du 23 septembre 2019 consid. 6.2). Ces arrêts ne doivent donc pas être compris comme s'écartant de l'arrêt de principe en la matière, publié in <ref-ruling>. Ce qui compte, c'est la volonté des parties que le montant remis par la société à l'actionnaire (ou à un proche) soit remboursé.
7.2.1. Savoir si un remboursement est ou non envisagé par les parties relève de la volonté interne qui, par sa nature, ne peut pas être prouvée directement, mais qui ne peut qu'être déduite des circonstances extérieures. Pour être admise, une simulation doit reposer sur des indices clairs (<ref-ruling> consid. 5.2.2 et 7.4.4). En tant que fait générateur d'imposition, la charge de la preuve en incombe à l'autorité fiscale (<ref-ruling> consid. 7.1; arrêt 2C_872/2020 du 2 mars 2021 consid. 3.4).
7.2.2. Dans l'<ref-ruling>, le Tribunal fédéral a synthétisé les indices qui entrent en ligne de compte à cet égard. La manière dont le prêt est traité au plan comptable dans le bilan de la société prêteuse et celle dont le débiteur le fait figurer dans sa déclaration d'impôt sont des éléments relevants pour juger si on est en présence d'un véritable prêt. En effet, le défaut de comptabilisation de la créance au bilan de la société créancière et l'absence de mention de la dette et de la déduction d'intérêts passifs dans la déclaration fiscale du débiteur sont des éléments qui peuvent signifier que les intéressés eux-mêmes considèrent que le prêt n'existe pas (<ref-ruling> consid. 5.1.1 et les références; arrêt 2C_872/2020 du 2 mars 2021 consid. 3.4.1). Il y a un indice clair de simulation si une société accorde un prêt à son actionnaire alors que celui-ci se trouve dans une situation financière très difficile, de sorte qu'il n'est pas en mesure d'assumer les obligations résultant du prêt, à savoir le paiement d'intérêts et d'amortissements (<ref-ruling> consid. 5.1.3; arrêt 2C_872/2020 du 2 mars 2021 consid. 3.4.1). Le fait que le bénéficiaire du prêt utilise les fonds mis à disposition pour maintenir son train de vie ou rééchelonner des dettes privées est un indice de simulation (cf. <ref-ruling> consid. 5.1.2; arrêt 2C_872/2020 du 2 mars 2021 consid. 3.4.1). D'autres indices plaident aussi en faveur d'un prêt simulé, même si, isolément, ils ne sont pas décisifs. A elle seule, l'absence d'une convention écrite ne s'avère ainsi que peu concluante, puisqu'elle peut reposer sur d'autres raisons qu'une intention de simulation (<ref-ruling> consid. 5.1.1). Le fait que le but statutaire de la prêteuse ne comprenne pas l'octroi de crédits ne permet pas non plus de conclure nécessairement à une simulation (<ref-ruling> consid. 5.1.2 et 7.4.2). Le fait que le prêt représente un montant inhabituel au regard de la structure du bilan, par exemple lorsque le prêt constitue le seul actif notable de la société ou qu'il dépasse les fonds propres, est aussi un indice de simulation possible (<ref-ruling> consid. 5.1.3; cf. par exemple arrêt 2C_322/2017 du 3 juillet 2018 consid. 4.1: prêt représentant 82% des actifs; arrêt 2C_443/2016 du 11 juillet 2017 consid. 4.4: prêt représentant 88% des actifs; arrêt 2C_481/2016 du 16 février 2017 consid. 7.1: prêt représentant 64% des actifs; arrêt 2C_927/2013 du 21 mai 2014: prêt représentant 88% des actifs), étant précisé que, pour évaluer la part que représente le prêt au bilan de la société prêteuse, les réserves latentes constatées sur les actifs doivent être prises en compte (cf. arrêts 2C_481/2016 du 16 février 2017 consid. 7.1; 2C_927/2013 du 21 mai 2014 consid. 5.7.1).
7.2.3. Le Tribunal fédéral distingue par ailleurs selon que la volonté de rembourser fait d'emblée défaut ou qu'elle n'est constatée qu'ultérieurement, parce que l'actionnaire et la société conviennent, expressément ou par actes concluants, d'un abandon de créance. On parle de "simulation originelle" ("ursprüngliche Simulation") dans le premier cas et de simulation ultérieure ("nachträgliche Simulation") dans le second (cf. <ref-ruling> consid. 5.2; cf. aussi notamment arrêts 2C_872/2020 du 2 mars 2021 consid. 3.4.1; 2C_252/2014 du 12 février 2016 consid. 4.1, traduit in RDAF 2018 II 285). Ces concepts démontrent bien que le terme de simulation utilisé en ce sens est plus large que le concept du droit civil.
Pour juger si un prêt a été d'emblée simulé (simulation originelle), ce sont les circonstances qui prévalent au moment de l'octroi du montant litigieux qui doivent être examinées. C'est cette idée qu'exprime la jurisprudence lorsqu'elle souligne que, pour juger si un prêt octroyé est (originellement) simulé, il ne faut tenir compte des développements ultérieurs que dans la mesure où ils étaient déjà connus ou du moins prévisibles (<ref-ruling> consid. 5.2.1 et les références; arrêts 2C_98/2019 du 23 septembre 2019 consid. 6.2; 2C_927/2013 du 21 mai 2014 consid. 5.2 et les références; arrêt 2A.584/2000 du 16 mai 2001 consid. 3e), ce que rappelle du reste à juste titre l'Administration fédérale des contributions dans sa réponse au recours. Dans l'<ref-ruling>, le Tribunal fédéral a toutefois admis que le remboursement ultérieur du prêt excluait en principe l'admission d'une simulation originelle, à moins que ce remboursement ne soit intervenu de manière abusive, c'est-à-dire après que l'autorité fiscale a estimé que le prêt a été simulé et pour tenter faire échec à cette appréciation (cf. au surplus <ref-ruling> consid. 7.3.2).
Si aucune image claire de simulation ne ressort des circonstances qui prévalent au moment de l'octroi des montants examinés, il faut attendre. En effet, l'admission d'une simulation n'est possible que sur la base d'indices clairs, faute de quoi l'autorité doit attendre que les indices s'intensifient jusqu'à constituer une preuve indiscutable (cf. <ref-ruling> consid. 5.2.2 et 7.4.4; arrêt 2C_927/2013 du 21 mai 2014 consid. 5.3 in fine). Le constat que la dette n'a pas au moins partiellement diminué avec le temps est un indice de simulation ultérieure (<ref-ruling> consid. 5.2.2 et les références), de même que le constat selon lequel le prêt a considérablement augmenté, malgré la situation financière difficile du débiteur (<ref-ruling> consid. 5.2.2 et les références). Le fait que les intérêts passifs soient rajoutés à la dette principale et non pas payés est aussi un indice de simulation (arrêt 2C_843/2012 du 20 décembre 2012 consid 3.2). Une simulation ultérieure peut être admise s'il ressort des circonstances que l'actionnaire a clairement la volonté de soustraire des moyens à la société. Tel peut être le cas si des mesures sont prises au niveau de la société, par exemple si la créance est amortie (<ref-ruling> consid. 5.2.3; arrêts 2C_872/2020 du 2 mars 2021 consid. 3.5.2; 2C_461/2008 du 23 décembre 2008 consid. 2.2).
Si l'autorité fiscale constate qu'un prêt initialement convenu par les parties est devenu simulé ultérieurement, la reprise intervient pour la période fiscale pour laquelle le constat de simulation est opéré (arrêts 2C_872/2020 du 2 mars 2021 consid. 3.5.2; 2C_842/2012 du 20 décembre 2012 consid. 3.3 et 3.4, in RF 68/2013 p. 227; 2C_461/2008 du 23 décembre 2008 consid. 3.2, in RF 64/2009 p. 308, traduit in RDAF 2009 II 482; cf. aussi arrêt 2C_252/2014 du 12 février 2016 consid. 4.1, traduit in RDAF 2018 II 285, qui précise que l'admission d'une simulation ultérieure n'a pas d'effet "ex tunc").
7.2.4. Les indices sur lesquels se fonde l'instance précédente pour juger de l'existence d'une simulation sont des faits, qui lient en principe le Tribunal fédéral (<ref-law>; supra consid. 3). En revanche, les conséquences juridiques qui doivent en être tirées sont des questions de droit, que le Tribunal fédéral revoit librement (<ref-ruling> consid. 7.2).
7.3. En l'espèce, il faut d'emblée constater que l'on ne peut pas reprocher à la Cour de justice d'avoir retenu que la Société n'aurait pas prêté les montants litigieux de 4'054'167 fr. et de 949'431 fr. dans les mêmes circonstances à un tiers. Il est en effet difficilement concevable que la Société, qui poursuit un but holding, aurait prêté à un tiers de tels montants sans contrat écrit de prêt et, à l'origine, sans garantie.
La Cour de justice a estimé que la question de savoir si les prêts litigieux étaient simulés ou non pouvait souffrir de rester indécise, puisque le prêt représentait de toute manière une prestation appréciable en argent (arrêt p. 18 3e par.). Or, pour justifier les reprises litigieuses, il faut pouvoir faire apparaître clairement que les montants octroyés l'ont été sans que les parties aient envisagé leur remboursement, ce à quoi la Cour de justice ne conclut pas, soulignant expressément que le point de savoir si on était en présence d'une simulation n'était pas déterminant. En outre, dans son analyse des circonstances du cas d'espèce, la Cour de justice a pris en compte des éléments de fait postérieurs aux périodes litigieuses, en défaveur des recourants (principalement le fait que le prêt n'a "cessé d'augmenter" jusqu'à son remboursement en 2018; cf. arrêt p. 15), tout en refusant simultanément de tenir compte d'autres éléments, en faveur des recourants et mis en avant par ces derniers, au motif que ces faits étaient postérieurs aux périodes litigieuses (conclusion d'un contrat de prêt et d'un contrat de gage le 3 mars 2011, remboursement total de la dette en 2018), ce qui semble contradictoire. Pour déterminer si les reprises admises par la Cour de justice peuvent néanmoins être confirmées, il faut donc se demander si les circonstances du cas d'espèce qui prévalaient au moment de l'octroi des montants litigieux permettent de conclure clairement que l'on se trouve dans une situation de prêts simulés originellement.
7.4. Pris globalement, plusieurs éléments plaident en faveur de l'existence d'une simulation. Les statuts de la Société ne prévoient pas l'octroi de crédits et son but holding n'inclut pas cette activité, point que les recourants contestent, mais de manière purement appellatoire. En outre, les intérêts passifs ont été comptabilisés dans le compte actionnaire du recourant 1 au sein de la Société, mais n'ont pas été payés.
En revanche, d'autres éléments plaident contre l'existence d'une simulation. Les montants litigieux ont été dûment comptabilisés dans le compte actionnaire du recourant 1. Selon les faits constatés, durant les années 2008 et 2010, le prêt a représenté environ 20% de la valeur comptable des actifs de la Société, ce qui, au regard des pourcentages considérés comme indices de simulation dans la jurisprudence (cf. supra consid. 7.2.2), n'est pas significatif, d'autant moins que la Cour de justice admet elle-même que la Société avait d'importantes réserves latentes et notamment sur sa participation dans D._ SA (arrêt attaqué p. 16 3e par.). Enfin, s'agissant de la situation financière du débiteur, la Cour de justice a constaté que le recourant 1 avait perçu des revenus annuels d'environ 650'000 fr. en 2008 et 2010 et que sa fortune était "conséquente". Elle ne constate pas que le recourant 1 se serait trouvé dans une situation financière difficile.
L'examen de l'ensemble des circonstances du cas d'espèce met certes au jour des indices d'une possible simulation originelle, mais ne permet pas de faire apparaître clairement que l'on se trouve dans un tel cas, comme l'exige la jurisprudence. Par conséquent, la Cour de justice a violé le droit fédéral en procédant aux reprises litigieuses.
7.5. Il découle de ce qui précède que l'arrêt attaqué ne peut pas être confirmé en tant qu'il rajoute aux revenus imposables des recourants un montant de 4'054'167 fr. en 2008 et un montant de 949'431 fr. en 2010. Le point de savoir si les circonstances ont ensuite évolué de telle manière qu'une simulation ultérieure devrait être envisagée n'a pas à être examiné, le litige étant limité aux périodes 2008 et 2010.
7.6. L'existence d'un prêt implique en principe l'obligation de procéder à des paiements d'intérêts passifs conformes au principe de pleine concurrence (supra consid. 7.1). En l'occurrence, il n'est pas contesté que le recourant 1 n'en a payé aucun durant les périodes litigieuses. Le fait que la Société ait accepté de renoncer au paiement d'intérêts dans le présent contexte ne s'explique que par la qualité d'actionnaire du recourant 1 et n'est donc pas conforme au principe de pleine concurrence. La renonciation au paiement d'intérêts représente partant en l'espèce une prestation appréciable en argent accordée par la Société au recourant 1, qui doit aboutir à une reprise dans le revenu des recourants pour les périodes fiscales correspondantes. Les recourants l'admettent du reste, puisqu'ils concluent subsidiairement à des reprises de 133'025 fr. pour la période 2008 et de 101'896 fr. pour 2010.
Le Tribunal fédéral n'est toutefois pas en mesure de vérifier que ces montants correspondent aux intérêts passifs minima calculés selon les taux de la lettre-circulaire de l'Administration fédérale dans ses versions applicables pour les périodes 2008 et 2010 (cf. supra consid. 7.1 in fine). La cause devra partant être renvoyée à l'Administration cantonale pour qu'elle calcule le montant des intérêts passifs conformes au principe de pleine concurrence et qu'elle émette ensuite de nouveaux bordereaux d'impôt 2008 et 2010.
7.7. Il découle de ce qui précède que les recourants succombent sur leurs conclusions principales et qu'ils obtiennent gain de cause sur leurs conclusions subsidiaires, en tant qu'ils admettent le principe de l'existence de prestations appréciable en argent en lien avec les intérêts passifs qui n'ont pas été payés en 2008 et en 2010. Leur recours sera donc partiellement admis s'agissant de l'impôt fédéral direct.
IV. Impôt cantonal et communal
8.
Les recourants invoquent, en lien avec la reprise effectuée en 2010, une violation de l'art. 22 al. 1 let. c de la loi cantonale genevoise du 27 septembre 2009 sur l'imposition des personnes physiques (LIPP; RS/GE D 3 08) et, en lien avec la reprise effectuée en 2008, une violation de l'art. 6 let. c de l'ancienne loi cantonale genevoise l'imposition des personnes physiques - IV, en vigueur jusqu'au 31 décembre 2009 (aLIPP-IV).
Comme ces dispositions, harmonisées (cf. <ref-law>), ont un contenu similaire à l'art. 20 al. 1 let. c LIFD, la jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales correspondantes (arrêts 2C_291/2013 du 11 novembre 2013 non publié in <ref-ruling> consid. 10; 2C_961/2010 du 30 janvier 2012 consid. 8 non publié in <ref-ruling>). ll peut ainsi être renvoyé à la motivation développée ci-dessus en matière d'impôt fédéral direct.
Il en découle que, pour l'impôt cantonal et communal, les recourants succombent également sur leurs conclusions principales et obtiennent gain de cause sur leurs conclusions subsidiaires en tant qu'ils admettent une reprise au titre d'intérêts passifs qui n'ont pas été payés en 2008 et en 2010. Leur recours sera donc partiellement admis s'agissant de l'impôt fédéral direct.
V. Conséquences, frais et dépens
9.
Au vu des considérants qui précèdent, l'arrêt attaqué est partiellement annulé en ce sens que les reprises de 4'054'167 fr. en 2008 et de 949'431 fr. en 2010 sont annulées, tant s'agissant de l'impôt fédéral direct que de l'impôt cantonal et communal. L'arrêt attaqué est confirmé pour le surplus. La cause est renvoyée à l'Administration cantonale pour qu'elle calcule (cf. supra consid. 7.6) les intérêts passifs conformes au principe de pleine concurrence qui doivent être rajoutés aux revenus des recourants pour les périodes 2008 et 2010 en tant que prestations appréciables en argent et qu'elle émette en conséquence de nouveaux bordereaux d'impôt, tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal et 2008 et 2010.
Au vu de l'issue des recours, les frais judiciaires seront répartis entre le canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1 et 4 LTF), et les recourants, à parts égales et solidairement entre eux (art. 66 al. 1 et 5 LTF). Le canton de Genève est en outre condamné à verser des dépens réduits aux recourants (art. 68 al. 1 et 2 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à la Cour de justice pour qu'elle statue à nouveau sur les frais et dépens de la procédure devant elle et devant le Tribunal administratif (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis s'agissant de l'impôt fédéral direct. L'arrêt attaqué est partiellement annulé, en ce sens que les reprises de 4'054'167 fr. en 2008 et de 949'431 fr. en 2010 sont annulées. Il est confirmé pour le surplus.
2.
Le recours est partiellement admis s'agissant de l'impôt cantonal et communal. L'arrêt attaqué est partiellement annulé, en ce sens que les reprises de 4'054'167 fr. en 2008 et de 949'431 fr. en 2010 sont annulées. Il est confirmé pour le surplus.
3.
La cause est renvoyée à l'Administration fiscale cantonale du canton de Genève dans le sens des considérants.
4.
Les frais judiciaires, arrêtés à 16'000 fr., sont mis à la charge du canton de Genève à raison de 10'000 fr. et des recourants, solidairement entre eux, à raison de 6'000 francs.
5.
Une indemnité de 10'000 fr. est octroyée aux recourants au titre de dépens réduits, à la charge du canton de Genève.
6.
La cause est renvoyée à la Cour de justice pour qu'elle statue à nouveau sur les frais et dépens de la procédure menée devant elle et devant le Tribunal administratif.
7.
Le présent arrêt est communiqué aux mandataires des recourants, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, et à l'Administration fédérale des contributions.
Lausanne, le 16 novembre 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens