Faits :
A.
A.a. A._ SA, dont le siège est à D._ (GE), est une Société anonyme ayant pour but l'exploitation d'une entreprise de menuiserie-charpente. Son capital-actions est constitué de 1'000 actions au porteur d'une valeur de 100 fr. A._ est l'administrateur avec signature individuelle de A._ SA.
C._ SA, dont le siège est également à D._, est une Société anonyme ayant pour but l'acquisition, la gestion et la vente de biens immobiliers ou mobiliers. Son capital-actions est réparti en 200 actions au porteur d'une valeur de 1'000 fr. A._ est l'administrateur avec signature individuelle de C._ SA.
A.b. Le 21 juin 2006, les époux B._ et A._, domiciliés à Genève, ont remis leur déclaration fiscale 2005 à l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale). Les contribuables ont indiqué, dans l'état des titres, 1'000 actions de A._ SA et 200 actions de C._ SA, représentant l'entier du capital-actions de ces sociétés. En outre, les époux ont mentionné notamment les dettes suivantes:
- une dette de 200'000 fr. envers A._ SA;
- trois "prêts à terme", d'un montant respectif de 170'000 fr., 154'700 fr. et 50'000 fr., octroyés par un créancier domicilié à Genève dont le nom n'était pas indiqué;
- une "avance à terme" de 407'025 fr., accordée par un créancier domicilié à Genève dont l'identité n'était pas mentionnée.
A.c. Le 13 avril 2007, dans le cadre de la procédure de taxation de A._ SA, l'Administration cantonale a requis des informations au sujet des postes suivants du bilan de la société au 31 décembre 2005: le poste actif "avances à des tiers" (794'240 fr. 35), le poste actif "immobilisations financières" (986'954 fr. 50) et le poste passif "ducroire et provisions" (293'315 fr. 35). Le 30 avril 2007, A._ SA a indiqué à l'Administration cantonale que les "avances à des tiers" à hauteur de 794'240 fr. 35 étaient constituées de prêts en faveur de C._ SA, que les "immobilisations financières" à hauteur de 986'954 fr. 50 concernaient divers prêts octroyés à A._ et que la provision de 293'315 fr. 35 avait été décidée en relation avec un prêt accordé à C._ SA en raison du risque de non-recouvrement de ce dernier (cf. <ref-law>).
Par décision du 27 août 2007, confirmée sur réclamation le 4 juin 2009, l'Administration cantonale a constaté que la provision de 293'315 fr. 35 n'était pas justifiée par l'usage commercial. En outre, cette autorité a déduit du bénéfice imposable de A._ SA les intérêts déclarés par cette dernière sur les prêts octroyés à A._ et à C._ SA. La décision sur réclamation n'a pas été contestée par A._ SA.
A.d. Le 12 mai 2010, l'Administration cantonale a établi les bordereaux de taxation pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) 2005 de B._ et A._. Dans lesdits bordereaux, les montants prêtés à A._ qui étaient mentionnés dans la déclaration étaient admis en déduction de la fortune des époux et les intérêts relatifs aux prêts en question étaient déduits du revenu des contribuables.
B.
B.a. Le 11 janvier 2013, l'Administration cantonale a informé séparément B._ et A._, séparés depuis 2006 et divorcés depuis juin 2008, de l'ouverture d'une procédure en rappel d'impôt et en soustraction d'impôt pour la période fiscale 2005. Le 22 octobre 2013, cette autorité a notifié aux contribuables une décision de rappel d'impôt ainsi qu'une amende pour soustraction d'impôt concernant l'ICC et l'IFD 2005. L'Administration cantonale a retenu que les prêts octroyés par A._ SA à A._ (pour un montant total de 986'954 fr.) et à C._ SA (pour un montant total de 500'925 fr.) étaient simulés, de sorte que ces montants devaient être ajoutés au revenus de B._ et A._ en tant que rendement de la fortune mobilière. En outre, les intérêts relatifs aux prêts octroyés par A._ SA n'étaient pas admis en déduction des revenus des contribuables et les prêts en question n'étaient pas déductibles de la fortune de ceux-ci. L'amende pour soustraction d'impôt par négligence infligée aux intéressés correspondait à la moitié des droits repris.
Le 21 novembre 2013, B._ et A._ ont formé réclamation contre les bordereaux de reprise et d'amende du 22 octobre 2013. Par décisions sur réclamation du 17 février 2014, l'Administration cantonale a maintenu inchangés les bordereaux querellés ainsi que l'amende.
B.b. Le 19 mars 2014, les contribuables ont recouru contre ces décisions devant le Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI). Le 4 mai 2015, après avoir implicitement joint les causes, le TAPI a rejeté le recours.
Saisie d'un recours contre le jugement du TAPI, la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) l'a rejeté le 14 juin 2016. Les juges cantonaux ont retenu, en substance, que les conditions pour l'ouverture d'une procédure en rappel d'impôt étaient remplies, faute de négligence grave imputable à l'autorité fiscale, que les prêts octroyés par A._ SA à A._ et à C._ SA devaient être ajoutés aux revenus des époux en tant que rendement de la fortune mobilière, que l'amende infligée était justifiée et que le montant de celle-ci n'était pas disproportionné.
C.
A l'encontre de la décision du 14 juin 2016, B._ et A._ déposent un recours en matière de droit public auprès du Tribunal fédéral. Ils demandent à la Cour de céans, sous suite de frais et dépens, d'admettre que les conditions du rappel d'impôt ne sont en l'occurrence pas réalisées et, subsidiairement, de constater que les prêts litigieux ne peuvent pas être considérés comme des prestations appréciables en argent, que ceux-ci constituent des dettes déductibles de leur fortune et que les intérêts y relatifs doivent être déduits de leurs revenus. Les contribuables concluent également à l'annulation de "la décision de fixation des amendes" et, plus subsidiairement encore, à la réduction de l'amende à un tiers de l'impôt soustrait.
L'Administration cantonale formule des observations et conclut au rejet du recours. L'Administration fédérale des contributions dépose une réponse et propose également le rejet du recours, alors que la Cour de justice renonce à transmettre des observations et persiste dans les considérants et le dispositif de son arrêt.

Considérant en droit :
I. Recevabilité et pouvoir d'examen
1.
L'arrêt attaqué porte sur l'ICC et l'IFD des recourants pour l'année 2005. La Cour de justice a rendu une seule décision pour les deux catégories d'impôts. Le Tribunal fédéral a toutefois ouvert deux dossiers, l'un concernant les impôts cantonal et communal (2C_676/2016), l'autre l'impôt fédéral direct (2C_677/2016). Il se justifie de joindre les causes.
2.
2.1. L'arrêt entrepris concerne une procédure en rappel d'impôt et en soustraction d'impôt dirigée à l'encontre des recourants. Comme ces domaines relèvent du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'IFD. S'agissant de l'ICC, le rappel d'impôt, la notion de revenu imposable et la soustraction d'impôt étant des matières harmonisées aux art. 7, 53 et 56 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'<ref-law>.
2.2. Au surplus, déposé en temps utile, compte tenu des féries (art. 46 al. 1 let. b et 100 al. 1 LTF), et dans les formes requises (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par une autorité judiciaire supérieure (art. 86 al. 1 let. d et al. 2 LTF). Par ailleurs, il a été interjeté par les contribuables destinataires de la décision attaquée et qui ont un intérêt digne de protection à son annulation ou sa modification, de sorte qu'il faut leur reconnaître la qualité pour recourir (<ref-law>). Le présent recours est donc recevable, sous réserve de ce qui suit.
2.3. En raison de l'effet dévolutif complet du recours déposé auprès de la Cour de justice (cf. <ref-ruling> consid. 1.2 p. 104), la conclusion des recourants tendant à l'annulation de la "décision de fixation des amendes pour la période fiscale 2005" est irrecevable.
3.
3.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (arrêt 2C_826/2015 du 5 janvier 2017 consid. 2, non publié in <ref-ruling>).
Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (arrêts 2C_1133/2015 du 11 novembre 2016 consid. 2.1 et 2C_941/2015 du 9 août 2016 consid. 2.1). Il en va de même lorsque la loi sur l'harmonisation fiscale laisse une certaine marge de manoeuvre aux cantons ou lorsque l'on est en présence d'impôts purement cantonaux, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (cf. <ref-law>; <ref-ruling> consid. 2 p. 209 s.).
3.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été constatés de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 313 s.) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. <ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas constatés (arrêt 2C_777/2015 du 26 mai 2016 consid. 2, non publié in <ref-ruling>).
Dans la mesure où les recourants présentent une argumentation partiellement appellatoire, en complétant librement l'état de fait retenu dans l'arrêt entrepris, sans invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
II. Impôt fédéral direct
4.
Les recourants soutiennent en premier lieu que les conditions du rappel d'impôt n'étaient pas réunies en 2013, parce que les autorités fiscales s'étaient déjà prononcées sur les prêts litigieux en 2007. Les intéressés relèvent à ce sujet que, dans le cadre de la procédure de taxation de A._ SA, le Service des personnes morales de l'Administration cantonale avait déjà traité lesdits prêts comme fictifs dans sa décision du 27 août 2007, confirmée sur réclamation le 4 juin 2009 (cf. supra let. A.c in fine). Selon les recourants, le 12 mai 2010, lorsque l'Administration cantonale a établi leur bordereau de taxation pour l'IFD 2005, cette autorité disposait donc de tous les éléments nécessaires pour imposer les prêts en question à titre de distribution dissimulée de bénéfice, de sorte que la procédure en rappel d'impôt entamée en 2013 n'était pas justifiée.
4.1. Aux termes de l'<ref-law>, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Il y a ainsi motif à rappel d'impôt lorsque l'autorité fiscale découvre des faits ou des moyens de preuve qui ne ressortaient pas du dossier dont elle disposait au moment de la taxation (cf. arrêts 2C_662/2014 du 25 avril 2015 consid. 6.3, in RDAF 2015 II 267, et 2C_724/2010 du 27 juillet 2011 consid. 8.1, in RDAF 2012 II 37).
Selon la jurisprudence, l'autorité fiscale peut, en principe, considérer que la déclaration d'impôt est exacte et complète et elle n'est pas tenue, à défaut d'indices correspondants, de rechercher des informations complémentaires. En raison de la maxime inquisitoire, l'autorité doit cependant procéder à une analyse plus approfondie, lorsqu'il ressort manifestement du dossier que les faits déterminants sont incomplets ou peu clairs. Lorsque l'autorité fiscale aurait dû se rendre compte de l'état de fait incomplet ou inexact, le rapport de causalité adéquate entre la déclaration lacunaire et la taxation insuffisante ou incomplète est interrompu et les conditions pour procéder ultérieurement à un rappel d'impôt font défaut (cf. arrêts 2C_632/2012 du 28 juin 2013 consid. 3.4; 2C_1225/2012 du 7 juin 2013 consid. 3.1; 2C_104/2008 du 20 juin 2008 consid. 3.3 et les références citées). Cette rupture du lien de causalité est soumise à des exigences sévères, à savoir une négligence grave imputable à l'autorité fiscale (arrêts 2C_1023/2013 du 8 juillet 2014 consid. 3.2, traduit in RDAF 2015 II 254; 2C_1225/2012 du 7 juin 2013 consid. 3.1; 2C_123/2012 du 8 août 2012 consid. 5.3.4). Dans ce contexte, il ne saurait être retenu de négligence grave à l'encontre de l'autorité de taxation qui ne tient pas compte d'informations à disposition d'un autre secteur de l'administration fiscale, sauf s'il est établi que ces informations lui ont effectivement été communiquées. Tel peut être par exemple le cas lorsque le fonctionnaire du service de taxation des personnes physiques, en charge du dossier d'un contribuable actionnaire d'une société, a reçu de la part de son homologue du service de taxation des personnes morales une communication des pièces qui figurent dans le dossier de ladite société et qui concernent l'actionnaire. Si cette communication n'a pas eu lieu, on ne saurait imputer au fonctionnaire en question les connaissances du service des personnes morales (cf. arrêts 2C_898/2015 du 12 octobre 2016 consid. 3.7; 2C_1023/2013 du 8 juillet 2014 consid. 3.2, traduit in RDAF 2015 II 254; 2C_1225/2012 du 7 juin 2013 consid. 3.2 et les références citées; voir aussi CASANOVA/DUBEY, in NOËL/AUBRY GIRARDIN [éd.], Commentaire romand - Impôt fédéral direct, 2e éd., 2017, n. 11 ad <ref-law> p. 1813; MARTIN E. LOOSER, in ZWEIFEL/BEUSCH [éd.], Kommentar zum schweizerischen Steuerrecht - Bundesgesetz über die direkte Bundessteuer, 3e éd., 2017, n. 14 ad <ref-law> p. 2514 s.).
4.2. En l'espèce, il ressort des faits retenus dans l'arrêt attaqué, qui lient le Tribunal fédéral (cf. <ref-law>; supra consid. 3.2), qu'en 2007, dans le cadre de la taxation de A._ SA, le service de taxation des personnes morales avait été informé du fait que les prêts litigieux avaient été octroyés au contribuable et à C._ SA par A._ SA. La Cour de justice a aussi constaté que ledit service avait déduit du bénéfice imposable de A._ SA les intérêts déclarés en tant que produits par cette dernière sur les prêts octroyés à A._ et à C._ SA (cf. supra let. A.c).
Dans ces circonstances, force est de constater que le service de taxation des personnes morales était au courant, depuis 2007, de tous les éléments nécessaires pour qualifier les prêts en question de prestations appréciables en argent. L'arrêt entrepris retient également que, par la suite, ces éléments ont été communiqués au service de taxation des personnes physiques, ce qui a donné lieu à la procédure en rappel d'impôt ouverte à l'encontre des contribuables le 11 janvier 2013. Conformément à la jurisprudence exposée ci-dessus (cf. supra consid. 4.1), la question de savoir à quel moment ces informations ont été transmises au service de taxation des personnes physiques est cruciale pour juger si les conditions du rappel d'impôt étaient en l'occurrence remplies. En effet, si cette transmission a eu lieu avant le moment de la taxation 2005, notifiée aux contribuables le 12 mai 2010, l'autorité de taxation aurait disposé à ce moment-là de tous les éléments nécessaires pour retenir des prestations appréciables en argent en défaveur des intéressés dans le cadre de la taxation ordinaire (cf. CASANOVA/DUBEY, op. cit., n. 9 ad <ref-law> p. 1812 et n. 4 ad <ref-law> p. 1819), de sorte que, faute de faits ou moyens de preuve "jusque-là inconnus de l'autorité fiscale" (<ref-law>), tout rappel d'impôt serait exclu. En revanche, si ces informations ont été transmises au service de taxation des personnes physiques après la taxation en question, un rappel d'impôt serait envisageable, les connaissances du service des personnes morales ne pouvant pas être imputées au services des personnes physiques (cf. supra consid. 4.1).
4.3. L'arrêt entrepris ne fournit aucune précision concernant le moment auquel les informations permettant de fonder l'imposition ont été transmises et se limite à relever que "le service des personnes morales avait indiqué au service des personnes physiques que A._ avait effectué des prestations appréciables en argent" (arrêt attaqué, p. 3). Les pièces du dossier, notamment l'arrêt du TAPI du 4 mai 2015, les décisions sur réclamation de l'Administration cantonale du 17 février 2014, la décision de rappel d'impôt du 22 octobre 2013 et la lettre de l'Administration cantonale du 11 janvier 2013 informant les contribuables de l'ouverture de la procédure en rappel d'impôt, ne contiennent aucun élément susceptible de fournir une réponse à cette question (cf. <ref-law>). En particulier, la lettre du 11 janvier 2013 indique ce qui suit: "En effet, nous avons été informés par le service des personnes morales que vous avez bénéficié de prestations appréciables en argent en 2005 [...]".
Dans ces circonstances, le Tribunal fédéral ne dispose pas des éléments nécessaires pour se prononcer sur la question de savoir si c'est à juste titre que la Cour de justice a retenu que les conditions du rappel d'impôt étaient réalisées en l'espèce. Il découle de ce qui précède que tel ne serait pas le cas si l'information déterminante avait été communiquée au service de taxation des personnes physiques avant la taxation IFD 2005 des contribuables. Il convient de préciser que la charge de la preuve appartient sur ce point à l'Administration cantonale, s'agissant d'un fait dont dépend le bien-fondé de la procédure de rappel d'impôt (cf. arrêts 2C_109/2015 du 1er septembre 2015 consid. 4.1, in RDAF 2015 II 421, et 2C_476/2014 du 21 novembre 2014 consid. 8.1).
4.4. Il ressort des considérants qui précèdent que le recours, en tant qu'il porte sur l'impôt fédéral direct pour l'année fiscale 2005, doit être admis et l'arrêt entrepris annulé. La cause est renvoyée à la Cour de justice pour qu'elle examine le moment où le service de taxation des personnes physiques a été informé des faits justifiant le rappel d'impôt litigieux et, en fonction des éléments à sa disposition, qu'elle rende une nouvelle décision.
III. Impôts cantonal et communal
5.
Concernant les conditions du rappel d'impôt, conformément à l'<ref-law>, les art. 59 ss de la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc/GE; RS/GE D 3 17) correspondent aux <ref-law>.
Par conséquent, les considérations développées pour l'impôt fédéral direct s'appliquent aussi à l'impôt cantonal et communal pour la période fiscale sous examen. Le recours doit donc également être admis s'agissant de l'ICC pour l'année fiscale 2005 et la cause renvoyée à la Cour de justice pour qu'elle procède au même examen qu'en matière d'IFD, puis rende une nouvelle décision.
IV. Conclusion, frais et dépens
6.
Les considérants qui précèdent conduisent à l'admission du recours, dans la mesure où il est recevable, et à l'annulation de l'arrêt attaqué tant en ce qui concerne l'IFD 2005 que l'ICC 2005 des recourants. La cause est renvoyée à la Cour de justice pour nouvelle décision dans le sens des considérants.
Les frais judiciaires sont mis à la charge du canton de Genève, qui succombe et dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Ayant obtenu gain de cause avec l'aide d'un représentant professionnel (cf. art. 9 du règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral [RS 173.110.210.3]; BERNARD CORBOZ, in Commentaire de la LTF, 2e éd., 2014, n. 17 ad <ref-law> p. 577), les recourants, créanciers solidaires (<ref-law> par analogie), ont droit à des dépens (art. 68 al. 1 et 2 LTF), à charge du canton de Genève.

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_676/2016 et 2C_677/2016 sont jointes.
2.
Le recours est admis, dans la mesure où il est recevable, en ce qui concerne l'impôt fédéral direct 2005.
3.
Le recours est admis, dans la mesure où il est recevable, en ce qui concerne les impôts cantonal et communal 2005.
4.
L'arrêt rendu le 14 juin 2016 par la Cour de justice est annulé. La cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
5.
Les frais judiciaires, arrêtés à 10'000 fr., sont mis à la charge du canton de Genève.
6.
Le canton de Genève versera aux recourants, créanciers solidaires, une indemnité de 10'000 fr. à titre de dépens.
7.
Le présent arrêt est communiqué au représentant des recourants, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, et à l'Administration fédérale des contributions.
Lausanne, le 5 décembre 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Ermotti