Faits :
A.
A.a. X._ SA, dont le siège est à Y._ (GE), est une Société anonyme ayant pour but l'exploitation d'une entreprise de menuiserie-charpente. Son capital-actions est constitué de 1'000 actions au porteur d'une valeur de 100 fr. X._ est l'administrateur avec signature individuelle de X._ SA.
Z._ SA, dont le siège est également à Y._, est une Société anonyme ayant pour but l'acquisition, la gestion et la vente de biens immobiliers ou mobiliers. Son capital-actions est réparti en 200 actions au porteur d'une valeur de 1'000 fr. X._ est l'administrateur avec signature individuelle de Z._ SA.
A.b. Dans ses déclarations fiscales 2006 à 2009, X._ a indiqué, dans l'état des titres, 1'000 actions de X._ SA et 200 actions de Z._ SA, représentant l'entier du capital-actions de ces sociétés. En outre, il a notamment mentionné les dettes suivantes:
- un prêt sans intérêt de 200'000 fr. octroyé par X._ SA, augmenté à 250'000 fr. en 2008 et à 300'000 fr. en 2009;
- trois "avances à terme", d'un montant respectif de 170'000 fr., 154'700 fr. et 50'000 fr., octroyées par un créancier domicilié à Genève dont le nom n'était pas indiqué;
- une "avance à terme" de 417'200 fr. en 2006, 425'341 fr. en 2007, 433'481 fr. en 2008 et 441'622 fr. en 2009, accordée par un créancier domicilié à Genève dont l'identité n'était pas mentionnée.
Le contribuable a également déduit de son revenu imposable des intérêts relatifs à ces prêts, correspondant à 19'798 fr. en 2006, 16'135 fr. en 2007, 16'135 fr. en 2008 et 17'560 fr. en 2009.
A.c. Le 13 avril 2007, dans le cadre de la procédure de taxation de X._ SA, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale) a requis des informations au sujet des postes suivants du bilan de la société au 31 décembre 2005: le poste actif "avances à des tiers" (794'240 fr. 35), le poste actif "immobilisations financières" (986'954 fr. 50) et le poste passif "ducroire et provisions" (293'315 fr. 35). Le 30 avril 2007, X._ SA a indiqué à l'Administration cantonale que les "avances à des tiers" à hauteur de 794'240 fr. 35 étaient constituées de prêts en faveur de Z._ SA, que les "immobilisations financières" à hauteur de 986'954 fr. 50 concernaient divers prêts octroyés à X._ et que la provision de 293'315 fr. 35 avait été décidée en relation avec un prêt accordé à Z._ SA en raison du risque de non-recouvrement de ce dernier (cf. art. 105 al. 2 LTF).
Par décision du 27 août 2007, confirmée sur réclamation le 4 juin 2009, l'Administration cantonale a constaté que la provision de 293'315 fr. 35 n'était pas justifiée par l'usage commercial. En outre, cette autorité a déduit du bénéfice imposable de X._ SA les intérêts déclarés par cette dernière sur les prêts octroyés à X._ et à Z._ SA. La décision sur réclamation n'a pas été contestée par X._ SA.
A.d. Les 29 juin et 1er juillet 2009, le 2 février 2010 et le 25 juillet 2011, l'Administration cantonale a notifié à X._ les bordereaux de taxation pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) pour les années 2006 à 2009, en admettant la totalité des dettes et des déductions relatives aux intérêts tels que déclarées par le contribuable.
B.
B.a. Le 11 janvier 2013, l'Administration cantonale a informé X._ de l'ouverture d'une procédure en rappel d'impôt et en soustraction d'impôt à son encontre pour les périodes fiscales 2006 à 2009. Une procédure parallèle avait également été ouverte pour l'année fiscale 2005 contre les époux X._, séparés puis divorcés depuis lors.
Le 22 octobre 2013, l'Administration cantonale a notifié à X._ des décisions de rappel d'impôt ainsi que des amendes pour soustraction d'impôt concernant l'ICC et l'IFD 2006 à 2009. Cette autorité a retenu que les prêts octroyés par X._ SA à X._ et à Z._ SA étaient simulés, ce qui avait été constaté dans la procédure parallèle relative à l'année 2005. Sur cette base, elle a procédé aux reprises suivantes:
Année fiscale Dettes non admises en déduction de la fortune Intérêts non admis en déduction du revenu 2006 991'900 fr. 19'792 fr. 2007 1'041'000 fr. 16'135 fr. 2008 1'058'181 fr. 16'135 fr. 2009 1'066'322 fr. 17'559 fr.
Les bordereaux de rappels d'impôts portaient sur les suppléments d'impôt suivants:
Année fiscale Supplément IFD Supplément ICC 2006 100 fr. 85 11'751 fr. 15 2007 74 fr. 65 11'877 fr. 40 2008 1'416 fr. 80 18'011 fr. 55 2009 1'284 fr. 80 14'227 fr. 10
Les amendes pour soustraction d'impôt par négligence infligées au contribuable correspondaient à la moitié des droits repris.
Le 21 novembre 2013, X._ a formé réclamation contre les bordereaux de reprise et d'amende du 22 octobre 2013. Par décisions sur réclamation du 17 février 2014, l'Administration cantonale a maintenu inchangés les bordereaux querellés ainsi que les amendes.
B.b. Le 19 mars 2014, le contribuable a recouru contre ces décisions devant le Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI). Le 4 mai 2015, après avoir implicitement joint les causes, le TAPI a rejeté le recours.
Saisie d'un recours contre le jugement du TAPI, la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) l'a rejeté le 14 juin 2016. Les juges cantonaux ont retenu, en substance, que les conditions pour l'ouverture d'une procédure en rappel d'impôt étaient remplies, faute de négligence grave imputable à l'autorité fiscale, que les reprises effectuées dans les périodes fiscales 2006 à 2009 en relation avec les prêts octroyés par X._ SA à X._ et à Z._ SA étaient justifiées, que les amendes infligées étaient fondées et que le montant de celles-ci n'était pas disproportionné.
C.
A l'encontre de la décision du 14 juin 2016, X._ dépose un recours en matière de droit public auprès du Tribunal fédéral. Il demande à la Cour de céans, sous suite de frais et dépens, d'admettre que les conditions du rappel d'impôt ne sont en l'occurrence pas réalisées et, subsidiairement, de constater que les prêts litigieux ne peuvent pas être considérés comme des prestations appréciables en argent, de sorte que ceux-ci constituent des dettes déductibles de sa fortune et que les intérêts y relatifs doivent être déduits de ses revenus pour les périodes fiscales 2006 à 2009. Le contribuable conclut également à l'annulation de "la décision de fixation des amendes pour les périodes fiscales 2006 à 2009" et, plus subsidiairement encore, à la réduction de l'amende à un tiers de l'impôt soustrait.
L'Administration cantonale formule des observations et conclut au rejet du recours. L'Administration fédérale des contributions dépose une réponse et propose également le rejet du recours, alors que la Cour de justice renonce à transmettre des observations et persiste dans les considérants et le dispositif de son arrêt.
Considérant en droit :
I. Recevabilité et pouvoir d'examen
1.
L'arrêt attaqué porte sur l'ICC et l'IFD du recourant pour les années 2006 à 2009. La Cour de justice a rendu une seule décision pour les deux catégories d'impôts. Le Tribunal fédéral a toutefois ouvert deux dossiers, l'un concernant les impôts cantonal et communal (2C_674/2016), l'autre l'impôt fédéral direct (2C_675/2016). Il se justifie de joindre les causes.
2.
2.1. L'arrêt entrepris concerne une procédure en rappel d'impôt et en soustraction d'impôt dirigée à l'encontre du recourant. Comme ces domaines relèvent du droit public et qu'aucune des exceptions prévues à l'art. 83 LTF n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'IFD. S'agissant de l'ICC, le rappel d'impôt, la notion de revenu imposable et la soustraction d'impôt étant des matières harmonisées aux art. 7, 53 et 56 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'art. 73 al. 1 LHID.
2.2. Au surplus, déposé en temps utile, compte tenu des féries (art. 46 al. 1 let. b et 100 al. 1 LTF), et dans les formes requises (art. 42 LTF), le recours est dirigé contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale par une autorité judiciaire supérieure (art. 86 al. 1 let. d et al. 2 LTF). Par ailleurs, il a été interjeté par le contribuable destinataire de la décision attaquée et qui a un intérêt digne de protection à son annulation ou sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (art. 89 al. 1 LTF). Le présent recours est donc recevable, sous réserve de ce qui suit.
2.3. En raison de l'effet dévolutif complet du recours déposé auprès de la Cour de justice (cf. ATF 136 II 101 consid. 1.2 p. 104), la conclusion du recourant tendant à l'annulation de la "décision de fixation des amendes pour les périodes fiscales 2006 à 2009" est irrecevable.
3.
3.1. D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (arrêt 2C_826/2015 du 5 janvier 2017 consid. 2, non publié in ATF 143 I 73).
Conformément à l'art. 106 al. 2 LTF et en dérogation à l'art. 106 al. 1 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (arrêts 2C_1133/2015 du 11 novembre 2016 consid. 2.1 et 2C_941/2015 du 9 août 2016 consid. 2.1). Il en va de même lorsque la loi sur l'harmonisation fiscale laisse une certaine marge de manoeuvre aux cantons ou lorsque l'on est en présence d'impôts purement cantonaux, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (cf. art. 95 LTF; ATF 134 II 207 consid. 2 p. 209 s.).
3.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été constatés de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 136 II 304 consid. 2.4 p. 313 s.) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas constatés (arrêt 2C_777/2015 du 26 mai 2016 consid. 2, non publié in ATF 142 I 152).
Dans la mesure où le recourant présente une argumentation partiellement appellatoire, en complétant librement l'état de fait retenu dans l'arrêt entrepris, sans invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
II. Impôt fédéral direct
4.
Le recourant soutient en premier lieu que les conditions du rappel d'impôt n'étaient pas réunies en 2013, parce que les autorités fiscales étaient au courant de l'existence des prêts litigieux depuis 2007. L'intéressé relève à ce sujet que, dans le cadre de la procédure de taxation de X._ SA, le Service des personnes morales de l'Administration cantonale avait déjà traité lesdits prêts comme fictifs dans sa décision du 27 août 2007, confirmée sur réclamation le 4 juin 2009 (cf. supra let. A.c in fine). Selon le recourant, entre le 29 juin 2009 et le 25 juillet 2011, lorsque l'Administration cantonale a établi successivement ses bordereaux de taxation pour les périodes fiscales 2006 à 2009, cette autorité disposait donc de tous les éléments nécessaires pour imposer les prêts en question à titre de distribution dissimulée de bénéfice, de sorte que la procédure en rappel d'impôt entamée en 2013 n'était pas justifiée.
4.1. Aux termes de l'art. 151 al. 1 LIFD, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Il y a ainsi motif à rappel d'impôt lorsque l'autorité fiscale découvre des faits ou des moyens de preuve qui ne ressortaient pas du dossier dont elle disposait au moment de la taxation (cf. arrêts 2C_662/2014 du 25 avril 2015 consid. 6.3, in RDAF 2015 II 267, et 2C_724/2010 du 27 juillet 2011 consid. 8.1, in RDAF 2012 II 37).
Selon la jurisprudence, l'autorité fiscale peut, en principe, considérer que la déclaration d'impôt est exacte et complète et elle n'est pas tenue, à défaut d'indices correspondants, de rechercher des informations complémentaires. En raison de la maxime inquisitoire, l'autorité doit cependant procéder à une analyse plus approfondie, lorsqu'il ressort manifestement du dossier que les faits déterminants sont incomplets ou peu clairs. Lorsque l'autorité fiscale aurait dû se rendre compte de l'état de fait incomplet ou inexact, le rapport de causalité adéquate entre la déclaration lacunaire et la taxation insuffisante ou incomplète est interrompu et les conditions pour procéder ultérieurement à un rappel d'impôt font défaut (cf. arrêts 2C_632/2012 du 28 juin 2013 consid. 3.4; 2C_1225/2012 du 7 juin 2013 consid. 3.1; 2C_104/2008 du 20 juin 2008 consid. 3.3 et les références citées). Cette rupture du lien de causalité est soumise à des exigences sévères, à savoir une négligence grave imputable à l'autorité fiscale (arrêts 2C_1023/2013 du 8 juillet 2014 consid. 3.2, traduit in RDAF 2015 II 254; 2C_1225/2012 du 7 juin 2013 consid. 3.1; 2C_123/2012 du 8 août 2012 consid. 5.3.4). Dans ce contexte, il ne saurait être retenu de négligence grave à l'encontre de l'autorité de taxation qui ne tient pas compte d'informations à disposition d'un autre secteur de l'administration fiscale, sauf s'il est établi que ces informations lui ont effectivement été communiquées. Tel peut être par exemple le cas lorsque le fonctionnaire du service de taxation des personnes physiques, en charge du dossier d'un contribuable actionnaire d'une société, a reçu de la part de son homologue du service de taxation des personnes morales une communication des pièces qui figurent dans le dossier de ladite société et qui concernent l'actionnaire. Si cette communication n'a pas eu lieu, on ne saurait imputer au fonctionnaire en question les connaissances du service des personnes morales (cf. arrêts 2C_898/2015 du 12 octobre 2016 consid. 3.7; 2C_1023/2013 du 8 juillet 2014 consid. 3.2, traduit in RDAF 2015 II 254; 2C_1225/2012 du 7 juin 2013 consid. 3.2 et les références citées; voir aussi CASANOVA/DUBEY, in NOËL/AUBRY GIRARDIN [éd.], Commentaire romand - Impôt fédéral direct, 2e éd., 2017, n. 11 ad art. 151 LIFD p. 1813; MARTIN E. LOOSER, in ZWEIFEL/BEUSCH [éd.], Kommentar zum schweizerischen Steuerrecht - Bundesgesetz über die direkte Bundessteuer, 3e éd., 2017, n. 14 ad art. 151 LIFD p. 2514 s.).
4.2. En l'espèce, il ressort des faits retenus dans l'arrêt attaqué, qui lient le Tribunal fédéral (cf. art. 105 al. 1 LTF; supra consid. 3.2), qu'en 2007, dans le cadre de la taxation de X._ SA, le service de taxation des personnes morales avait été informé du fait que les prêts litigieux avaient été octroyés au contribuable et à Z._ SA par X._ SA. La Cour de justice a aussi constaté que ledit service avait déduit du bénéfice imposable de X._ SA les intérêts déclarés en tant que produits par cette dernière sur les prêts octroyés à X._ et à Z._ SA (cf. supra let. A.c).
Dans ces circonstances, force est de constater que le service de taxation des personnes morales était au courant, depuis 2007, de tous les éléments nécessaires pour qualifier les prêts en question de prestations appréciables en argent. L'arrêt entrepris retient également que, par la suite, ces éléments ont été communiqués au service de taxation des personnes physiques, ce qui a donné lieu à la procédure en rappel d'impôt ouverte à l'encontre du contribuable le 11 janvier 2013. Conformément à la jurisprudence exposée ci-dessus (cf. supra consid. 4.1), la question de savoir à quel moment ces informations ont été transmises au service de taxation des personnes physiques est cruciale pour juger si les conditions du rappel d'impôt étaient en l'occurrence remplies. En effet, si cette transmission a eu lieu avant le moment de la taxation IFD pour l'année 2006, 2007, 2008 ou 2009, dont les bordereaux ont été notifiés au contribuable respectivement les 29 juin 2009, 1er juillet 2009, 2 février 2010 et 25 juillet 2011, l'autorité de taxation aurait disposé à ce moment-là de tous les éléments nécessaires pour retenir des prestations appréciables en argent en défaveur de l'intéressé dans le cadre de la taxation ordinaire pour l'année en question (cf. CASANOVA/DUBEY, op. cit., n. 9 ad art. 151 LIFD p. 1812 et n. 4 ad art. 153 LIFD p. 1819), de sorte que, faute de faits ou moyens de preuve "jusque-là inconnus de l'autorité fiscale" (art. 151 al. 1 LIFD), tout rappel d'impôt serait exclu pour l'année fiscale concernée et les années ultérieures. En revanche, si les informations ont été transmises au service de taxation des personnes physiques après la taxation en question, un rappel d'impôt serait envisageable, les connaissances du service des personnes morales ne pouvant pas être imputées au service des personnes physiques (cf. supra consid. 4.1).
4.3. L'arrêt entrepris ne fournit aucune précision concernant le moment auquel les informations permettant de fonder l'imposition ont été transmises et se limite à relever que "le service des personnes morales avait indiqué au service des personnes physiques que X._ avait effectué des prestations appréciables en argent" (arrêt attaqué, p. 3). Les pièces du dossier, notamment l'arrêt du TAPI du 4 mai 2015, les décisions sur réclamation de l'Administration cantonale du 17 février 2014, les décisions de rappel d'impôt du 22 octobre 2013 et la lettre de l'Administration cantonale du 11 janvier 2013 informant le contribuable de l'ouverture de la procédure en rappel d'impôt, ne contiennent aucun élément susceptible de fournir une réponse à cette question (cf. art. 105 al. 2 LTF). En particulier, la lettre du 11 janvier 2013 indique ce qui suit: "En effet, nous avons été informés par le service des personnes morales que vous avez bénéficié de prestations appréciables en argent en 2005 [...]".
Dans ces circonstances, le Tribunal fédéral ne dispose pas des éléments nécessaires pour se prononcer sur la question de savoir si c'est à juste titre que la Cour de justice a retenu que les conditions du rappel d'impôt étaient réalisées en l'espèce pour chacune des années fiscales en cause. Il découle de ce qui précède que tel ne serait pas le cas si l'information déterminante avait été communiquée au service de taxation des personnes physiques avant la taxation IFD 2006, 2007, 2008 ou 2009 du contribuable. Il convient de préciser que la charge de la preuve appartient sur ce point à l'Administration cantonale, s'agissant d'un fait dont dépend le bien-fondé de la procédure de rappel d'impôt (cf. arrêts 2C_109/2015 du 1er septembre 2015 consid. 4.1, in RDAF 2015 II 421, et 2C_476/2014 du 21 novembre 2014 consid. 8.1).
4.4. Il ressort des considérants qui précèdent que le recours, en tant qu'il porte sur l'impôt fédéral direct pour les années fiscales 2006 à 2009, doit être admis et l'arrêt entrepris annulé. La cause est renvoyée à la Cour de justice pour qu'elle examine le moment où le service de taxation des personnes physiques a été informé des faits justifiant le rappel d'impôt litigieux et, en fonction des éléments à sa disposition, qu'elle rende une nouvelle décision.
III. Impôts cantonal et communal
5.
Concernant les conditions du rappel d'impôt, conformément à l'art. 53 LHID, les art. 59 ss de la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc/GE; RS/GE D 3 17) correspondent aux art. 151 ss LIFD.
Par conséquent, les considérations développées pour l'impôt fédéral direct s'appliquent aussi à l'impôt cantonal et communal pour les périodes fiscales sous examen. Le recours doit donc également être admis s'agissant des impôts cantonal et communal pour les années fiscales 2006 à 2009 et la cause renvoyée à la Cour de justice pour qu'elle procède au même examen qu'en matière d'IFD, puis rende une nouvelle décision.
IV. Conclusion, frais et dépens
6.
Les considérants qui précèdent conduisent à l'admission du recours, dans la mesure où il est recevable, et à l'annulation de l'arrêt attaqué tant en ce qui concerne l'IFD 2006 à 2009 que l'ICC 2006 à 2009 du contribuable. La cause est renvoyée à la Cour de justice pour nouvelle décision dans le sens des considérants.
Les frais judiciaires sont mis à la charge du canton de Genève, qui succombe et dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Ayant obtenu gain de cause avec l'aide d'un représentant professionnel (cf. art. 9 du règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral [RS 173.110.210.3]; BERNARD CORBOZ, in Commentaire de la LTF, 2e éd., 2014, n. 17 ad art. 68 LTF p. 577), le recourant a droit à des dépens (art. 68 al. 1 et 2 LTF), à charge du canton de Genève.
Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_674/2016 et 2C_675/2016 sont jointes.
2.
Le recours est admis, dans la mesure où il est recevable, en ce qui concerne l'impôt fédéral direct 2006 à 2009.
3.
Le recours est admis, dans la mesure où il est recevable, en ce qui concerne les impôts cantonal et communal 2006 à 2009.
4.
L'arrêt rendu le 14 juin 2016 par la Cour de justice est annulé. La cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
5.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du canton de Genève.
6.
Le canton de Genève versera au recourant une indemnité de 3'000 fr. à titre de dépens.
7.
Le présent arrêt est communiqué au représentant du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, et à l'Administration fédérale des contributions.
Lausanne, le 5 décembre 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Ermotti