Faits :
A.
A.a. A._ est domicilié dans le canton de Genève depuis 1997. Il est séparé de son épouse, B._, depuis octobre 2013. En 2005, il était l'actionnaire unique de la société C._ SA (ci-après : C._), ainsi que de la société D._ SA, devenue en décembre 2005 E._ SA (ci-après : E._). En 2005 et jusqu'en 2006, respectivement 2008, A._ était également l'administrateur unique avec signature individuelle de E._ et administrateur de C._ avec signature collective à deux, avec F._ et B._, également administrateurs.
A.b. Un contrat de distribution liait G._ GmbH (ci-après : G._) à C._ depuis mars 2002. Il portait sur la distribution des produits G._ en Ukraine et en Russie par C._. Ce contrat devait arriver à échéance le 30 septembre 2008. En mars 2003, G._ a été reprise par le groupe H._.
Le 27 septembre 2005, C._, E._ et G._ ont signé une convention de transfert du contrat de distribution à E._ à partir du 1 er octobre 2005, cette dernière assumant expressément toutes les obligations que C._ avait envers G._. Le prix du transfert s'élevait à 2'400'000 francs. E._, qui n'avait alors pas d'autres fonds propres qu'un montant de 76'630 fr. et qui n'avait par ailleurs pas d'activité, n'a pas payé tout de suite ce prix. Après le transfert du contrat de distribution, C._ a continué à gérer le contrat de distribution.
Par contrat du 3 février 2006, A._ a vendu à G._ la totalité du capital-actions de E._ pour un montant de 2'600'000 francs. Le 3 mars 2006, E._ a cédé le contrat de distribution à G._ pour un montant de 2'400'000 francs. Ce montant a permis à E._ de verser à C._ la même somme, due en contrepartie de l'acquisition du contrat de distribution le 27 septembre 2005.
A.c. Dans leur déclaration fiscale 2005, les époux A._ et B._ ont déclaré respectivement 306'283 fr. et 80'806 fr. au titre de revenu brut de leur activité dépendante.
Le 19 mars 2007, l'Administration fiscale du canton de Genève (ci-après : l'Administration cantonale) a notifié les bordereaux et avis de taxation relatifs à l'impôt fédéral direct (IFD) et aux impôts cantonaux et communaux (ICC) pour la période fiscale 2005 : l'IFD se montait à 28'467 fr. 85 sur la base d'un revenu imposable de 309'700 fr. et l'ICC à 89'713 fr. 90 sur la base d'un revenu imposable de 320'035 fr., la fortune imposable retenue s'élevant à 1'079'334 francs.
B.
Le 18 novembre 2009, l'Administration cantonale a informé les époux A._ et B._ de l'ouverture d'une procédure en rappel d'impôt et d'une procédure pénale pour soustraction d'impôt concernant l'IFD et l'ICC 2005 au motif qu'une prestation appréciable en argent pour un montant de 2'600'000 fr. environ n'avait pas été déclarée. Le 9 mars 2010, la procédure s'est terminée. L'Administration cantonale a notifié aux époux A._ et B._ deux bordereaux de rappel d'impôt, accompagnés des avis de taxation rectificatifs et deux bordereaux " amende " portant sur l'IFD et l'ICC 2005. Le supplément d'impôt et les intérêts de retard s'élevaient à respectivement 298'330 fr. 15 et 44'140 fr. 45 pour l'IFD 2005, et à 861'972 fr. 60, respectivement 87'200 fr. 50 pour l'ICC 2005. L'amende pour l'IFD 2005 se montait à 149'165 fr. et celle de l'ICC 2005 à 430'986 fr.; elle correspondait à la moitié de l'impôt soustrait.
Statuant par décisions du 4 mai 2010 sur réclamation des époux A._ et B._, l'Administration cantonale a maintenu les bordereaux de rappel d'impôt et amendes tels que fixés le 9 mars 2010.
Par jugement du 22 avril 2013, le Tribunal de première instance du canton de Genève a rejeté le recours des époux A._ et B._ et confirmé les décisions sur réclamation du 4 mai 2010.
Après que A._ eut été entendu, à sa demande, en comparution personnelle par le Juge instructeur le 9 mars 2015, la Cour de Justice a, par arrêt du 9 juin 2015, rejeté son recours (B._ ayant été mise hors de cause en raison de la séparation du couple).
C.
A l'encontre de l'arrêt de la Cour de justice du 9 juin 2015, A._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, des rappels d'impôts et des amendes; il sollicite le renvoi de la cause à la Cour de justice pour qu'elle procède, dans une composition conforme à la loi, à une nouvelle audition en comparution personnelle du recourant et de K._ comme témoin, avant de rendre une nouvelle décision dans le sens des considérants.
La Cour de justice a renoncé à formuler des observations, persistant dans les termes de son arrêt. L'Administration cantonale a répondu et conclu au rejet du recours. L'Administration fédérale des contributions se rallie aux considérants et aux conclusions de l'Administration cantonale.
La demande d'assistance judiciaire formée par le recourant a été rejetée par ordonnance du 30 septembre 2015.
D.
Parallèlement à la procédure relative aux époux A._ et B._, la taxation 2005 de C._ a été rectifiée en sa défaveur, pour tenir compte d'un montant de 2'600'000 fr. en lien avec les mêmes faits, et une amende pour tentative de soustraction fiscale lui a été infligée. L'existence d'une prestation appréciable en argent de la société en faveur de A._, de même que la condamnation pour tentative de soustraction fiscale prononcées par l'Administration cantonale, ont été confirmées par les instances judiciaires cantonales. Le recours formé par C._, alors en liquidation, au Tribunal fédéral à l'encontre de l'arrêt de la Cour de justice du 28 mai 2013 a été rayé du rôle ensuite du retrait du recours, par arrêt du 16 janvier 2014 (causes 2C_626/2013 et 2C_627/2013).

Considérant en droit :
I. Recevabilité et points de procédure
1.
Le Tribunal cantonal a rendu un seul arrêt concernant les rappels d'impôts IFD/ICC et les amendes IFD/ICC pour la période fiscale 2005. Partant, on ne peut reprocher au recourant d'avoir présenté une seule écriture (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a ouvert deux dossiers, l'un concernant l'IFD (2C_675/2015), l'autre l'ICC (2C_674/2015). Comme l'état de fait est identique et que les questions juridiques soulevées par le recourant valent pour les deux catégories d'impôts, les causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
2.
2.1. L'arrêt attaqué est une décision finale (<ref-law>) et a été rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Le recours, déposé en temps utile compte tenu des féries (art. 46 al. 1 let. b et 100 al. 1 LTF) et dans les formes requises (art. 41 al. 1 et 2 LTF), est donc en principe recevable.
2.2. Il convient de relever que le recourant n'a pris que des conclusions en renvoi, alors que le Tribunal fédéral a un pouvoir général de réforme (<ref-law>); la réserve de l'<ref-law>, encore en vigueur au moment du dépôt du recours (abrogée au 1 er janvier 2017; RO 2015 779), devait de toute façon céder le pas devant l'<ref-law> (<ref-ruling> consid. 1.5.3 p. 192; Message relatif à la loi fédérale sur l'adaptation de la LIFD et de la LHID aux dispositions générales du code pénal du 2 mars 2012, FF 2012 2666 ch. 2.2.1). Sous l'angle de la LTF, les conclusions en renvoi sont toutefois admissibles en l'occurrence, dès lors que, comme le recourant soulève des griefs formels, le Tribunal fédéral, s'il lui donnait gain de cause, se verrait tenu de renvoyer l'affaire devant l'instance cantonale pour qu'elle statue à nouveau (cf. <ref-ruling> consid. 1.3 p. 317).
3.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal que si ce grief a été invoqué et motivé par le recourant, (cf. <ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 1.3 p. 41). Sauf exceptions non pertinentes en l'espèce, l'on ne peut invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (<ref-law> a contrario). Il est néanmoins possible de faire valoir que son application consacre une violation du droit fédéral, comme la protection contre l'arbitraire (art. 9 Cst.) ou la garantie d'autres droits constitutionnels (cf. <ref-ruling> consid. 2.1 p. 372; <ref-ruling> consid. 2.3 p. 387).
3.2. Pour statuer, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2 p. 117) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. <ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée (cf. 106 al. 2 LTF; <ref-ruling> consid. 3 p. 104 s.).
II. Griefs formels et arbitraire
4.
Le recourant invoque en premier lieu une violation de son droit d'être entendu en lien avec l'art. 6 CEDH, parce que son audition du 9 mars 2015 n'a eu lieu que devant le juge instructeur.
4.1. Dès lors que la présente procédure concerne non seulement des rappels d'impôts, mais aussi des amendes pour soustraction fiscale, l'art. 6 par. 1 CEDH est applicable (<ref-ruling> consid. 9.2 p. 74).
4.2. Le recourant ne se plaint à juste titre pas qu'il n'ait pas été donné suite à sa demande d'audition (cf. sur cette problématique en lien avec l'art. 6 CEDH, cf. arrêt 2C_32/2016 du 24 novembre 2016 consid. 12, in Archives 85 p. 392 et les arrêts de la CourEDH cités; s'agissant des causes fiscales, cf. arrêt Jussila contre Finlande n° 73053/01 du 23 novembre 2006, par. 40 ss), puisqu'il a bien été entendu. En revanche, il voit une violation de l'art. 6 CEDH dans le fait que son audition personnelle s'est déroulée devant le seul juge instructeur, alors que la Cour de justice a statué dans une composition à trois juges.
4.3. Selon la jurisprudence du Tribunal fédéral, l'art. 6 CEDH, à tout le moins s'agissant de son volet civil, n'interdit pas qu'il soit procédé à une audition personnelle par une délégation du tribunal, et non par tous les juges appelés à statuer (cf. <ref-ruling> consid. 3.3.2 p. 194). L'exigence de la présence de tous les juges appelés à statuer ne découle pas non plus de la jurisprudence de la CourEDH (cf. <ref-ruling> consid. 3.3.2 p. 194 s.). L'audition devant une délégation est donc suffisante. Dans l'arrêt Göç contre Turquie n° 36590/97 du 11 juillet 2002, la CourEDH a conclu à une violation de l'art. 6 CEDH non pas parce que le requérant n'avait été entendu que par le magistrat instructeur (cela n'avait du reste pas été le cas), mais parce qu'aucune audience n'avait eu lieu, alors que la nature essentiellement personnelle de l'expérience vécue par le requérant au cours de son emprisonnement, ainsi que la détermination du montant adéquat à lui accorder à titre d'indemnisation, rendaient sa comparution indispensable pour statuer (cf. par. 21 et 51 de l'arrêt).
En matière pénale, les exigences du procès équitable sont certes plus rigoureuses qu'en matière civile. Cela étant, s'agissant d'infractions de nature fiscale, la CourEDH admet largement l'utilisation de l'écrit (cf. arrêt Jussila contre Finlande précité, par. 40 ss), approche que partage aussi le Tribunal fédéral (cf. arrêt 2C_32/2016 du 24 novembre 2016 consid. 12.2, in Archives 85 p. 392). Il suffit donc que l'audition effectuée devant le magistrat instructeur soit reproduite de manière détaillée dans un procès-verbal, signé par les parties, de sorte que les autres juges appelés à statuer puissent prendre connaissance du contenu des déclarations de l'intéressé et statuer en connaissance de cause.
Tel a été le cas en l'espèce, l'arrêt attaqué reproduisant du reste de larges extraits du procès-verbal détaillé de l'audition. Le fait que le recourant n'ait été entendu que par le juge instructeur n'apparaît donc pas contraire à l'art. 6 CEDH.
4.4. Certes, le droit cantonal de procédure pourrait exiger que les auditions personnelles se déroulent devant l'instance judiciaire appelée à siéger in corpore. Le recourant ne le soutient toutefois pas ni n'invoque, conformément à l'<ref-law>, une application arbitraire du droit cantonal sur ce point (cf. supra consid. 3.1). Il se limite à mentionner l'art. 131 de la loi genevoise sur l'organisation judiciaire du 26 septembre 2010 (LOJ; RS/GE E 2 05) selon lequel la Chambre administrative de la Cour de justice siège dans la composition de trois, voire cinq juges. Au demeurant, on ne voit pas, qui plus est sous l'angle de l'arbitraire, que cette disposition imposerait cette même composition pour tous les actes d'instruction menés par le juge qui en est chargé. Enfin, le recourant perd de vue que le propre d'un juge chargé de l'instruction de la cause consiste à procéder à l'administration des preuves, de sorte que l'on ne voit pas qu'il lui soit interdit d'auditionner les parties.
5.
Invoquant une seconde violation de son droit d'être entendu, le recourant reproche à la Cour de justice de ne pas avoir donné suite à sa demande d'audition de K._ comme témoin.
5.1. Le droit d'être entendu comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (cf. <ref-ruling> consid. 6.3.1 p. 299; <ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.1 p. 293). Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les références citées; sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.1 p. 205; <ref-ruling> consid. 5.1 p. 17). Il appartient au recourant de démontrer l'arbitraire par une argumentation répondant aux exigences de l'<ref-law> (cf. arrêt 2C_647/2015 du 11 novembre 2016 consid. 5.1 non publié in <ref-ruling>).
5.2. Le recourant affirme, contrairement à ce que retient l'arrêt attaqué, que le transfert du contrat de distribution G._ de C._ à E._ survenu le 27 septembre 2005 aurait été réalisé alors que les pourparlers avec le groupe H._, qui détenait G._ et qui souhaitait reprendre ce contrat, avaient été rompus. L'audition de K._, qui avait repris les négociations pour le groupe H._ à la fin de l'année 2005, était ainsi déterminante pour, selon le recourant, renseigner les juges sur l'état des négociations lors de la cession litigieuse et pour leur permettre de déterminer comment le groupe H._ avait fixé le prix de 2'600'000 fr. pour l'achat du capital actions de E._ intervenu le 3 février 2006. Cette audition était aussi nécessaire pour éclaircir les prétendues contradictions entre une note rédigée par F._, administrateur de C._, et les indications écrites données par K._ dans son courriel du 28 mars 2011.
5.3. Il ressort de l'arrêt attaqué que la Cour de justice a refusé d'entendre oralement K._, considérant qu'une telle audition n'était pas nécessaire. En effet, le recourant avait pu produire toutes les pièces utiles. Parmi celles-ci figurait un courriel de K._ du 28 mars 2011. Dans cet écrit, K._ répondait à une demande du recourant le priant de confirmer, du point de vue du groupe H._, le déroulement chronologique des événements ressortant d'une note de F._ du 3 juin 2009. Dans sa réponse, K._ confirme globalement toutes les dates fournies, y compris celle indiquant qu'en août 2005, les négociations avec H._ étaient rompues. Il conteste en revanche expressément que la proposition de procéder à la reprise du contrat de distribution des produits G._ par le groupe H._ via une nouvelle entité émanait de H._, comme l'indiquait F._, mais affirme que l'idée provenait de C._.
5.4. Il apparaît ainsi que, sur les points invoqués par le recourant, K._ s'était déjà prononcé par écrit et que ses réponses figuraient dans une pièce au dossier. En présence d'une déclaration écrite d'une personne citée comme témoin et qui répond du reste à des précisions demandées par le recourant lui-même, il eût appartenu à ce dernier d'expliquer en quoi l'audition de K._ aurait permis d'apporter des éléments qui ne résultaient pas de son courriel, de sorte que le refus de l'entendre procédait de l'arbitraire. La simple affirmation générale selon laquelle le courriel de quelques lignes de K._ n'était pas suffisant ne démontre pas en quoi il était insoutenable de renoncer à l'audition de cette personne. Partant, rien dans l'argumentation du recourant ne permet de retenir qu'en refusant d'entendre le témoin K._, la Cour de justice aurait procédé à une appréciation anticipée des preuves arbitraire et partant violé le droit d'être entendu du recourant. Le grief est donc infondé.
Autre est la question de savoir si, eu égard au contenu du courriel de K._, les juges ont apprécié les preuves et établi les faits de manière arbitraire, ce qui sera examiné ci-après.
6.
Le recourant se prévaut en effet d'une appréciation arbitraire des preuves s'agissant du courriel de K._. Il reproche en substance aux juges d'avoir admis la valeur probante d'une partie de ce message, selon laquelle l'utilisation, en vue du transfert du contrat de distribution, d'une société tierce qui serait cédée était une idée émanant de C._, tout en écartant une autre partie du courriel qui confirmait la rupture des négociations avec le groupe H._ au moment de la cession du contrat de distribution le 27 septembre 2005. En refusant de reconnaître la rupture des négociations pour établie, la Cour de justice serait tombée dans l'arbitraire.
6.1. Selon la jurisprudence, il y a arbitraire dans l'appréciation des preuves et l'établissement des faits lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266).
6.2. Comme déjà indiqué (cf. supra consid. 5.3), le courriel de K._ confirme la teneur du déroulement des événements présenté dans une note établie par F._. K._ indique de manière laconique que les dates mentionnées dans ce document sont correctes. Or, F._ mentionne, au chiffre 18 de sa note, que, le 26 août 2005, les négociations entre C._ et le groupe H._ étaient rompues. Parallèlement à cette confirmation générale, K._ précise dans ce même courriel que, contrairement aux propos de F._, l'initiative de procéder au transfert du contrat de distribution via une nouvelle entité émanait de C._ et non de H._. La Cour de justice a retenu ce second élément, alors qu'elle a considéré que l'argument principal du recourant, selon lequel les négociations étaient rompues lors de la conclusion du contrat de transfert en septembre 2005, n'emportait pas sa conviction. Une telle position ne saurait d'emblée être qualifiée d'insoutenable, comme le laisse entendre le recourant.
6.2.1. D'une part, K._ n'a fait que confirmer un document émanant de F._, soit un administrateur de C._, dont la valeur probante peut ainsi être relativisée. On n'est donc pas en présence, contrairement à ce qu'affirme le recourant, de deux pièces attestant à l'évidence la rupture des négociations en septembre 2005 qui auraient été écartées. Du reste, entre le 26 août 2005 (date mentionnée dans la note de M. F._) et le 27 septembre 2005, date du contrat, il n'est pas insoutenable d'envisager que les négociations aient pu reprendre.
6.2.2. D'autre part et surtout, les juges n'ont pas suivi la position du recourant quant à la prétendue rupture des négociations en septembre 2005, en se fondant sur un faisceau d'indices qu'ils ont présentés dans l'arrêt attaqué. Ceux-ci révèlent un lien entre le transfert du contrat de distribution de septembre 2005 de C._ à E._ et la cession des actions de cette dernière au groupe G._ en février 2006. Les juges ont d'abord retenu, d'une manière qui ne saurait être qualifiée d'insoutenable, qu'il n'était pas compréhensible, si les pourparlers étaient rompus depuis août 2005, que C._ se soit pressée de vendre le contrat de distribution à E._ en septembre 2005, soit à une société soeur, pour le montant de 2'400'000 fr., alors que les fonds propres de cette dernière ne s'élevaient qu'à 76'630 francs. Le recourant n'avait lui-même fourni aucune explication objective à ce transfert, qu'il avait pu pourtant décider seul, compte tenu de sa position dominante dans les deux sociétés. Le prix dû par E._ pour le transfert du contrat intervenu en septembre 2005 démontrait aussi, selon les juges précédents, les liens entre cette transaction et les deux opérations ultérieures survenues début 2006. Ainsi, selon les indications données par le recourant lui-même, le prix convenu de 2'400'000 fr. dû par E._ aux termes du contrat de septembre 2005 n'avait été versé à C._ qu'en avril-mai 2006, soit peu après que E._ eut elle-même revendu ce contrat à G._ (soit au groupe H._) pour ce même montant, alors que G._ venait pourtant de racheter les actions de E._ pour 2'600'000 fr. au recourant en février 2006. En outre, dans le contrat du 3 février 2006, il était prévu que G._ souhaitait pouvoir tirer profit du réseau d'affaires créé par le recourant dans le cadre de C._. Or, les mêmes engagements pouvaient être pris directement dans le cadre d'une convention de transfert du contrat de distribution de C._ à G._. L'arrêt attaqué mentionne en outre un courriel du 26 septembre 2005 de M. L._, qui représentait alors le groupe H._. Comme le souligne à juste titre l'autorité intimée, il ressort de ce document, produit par le recourant et qui date de la veille du contrat entre C._ et E._, que les parties étaient bien en discussion quant au transfert des droits de distribution.
6.3. Compte tenu de ces indices, on ne voit pas que l'on puisse considérer que les juges précédents seraient tombés dans l'arbitraire en considérant à la fois qu'au moment du transfert survenu en septembre 2005 entre C._ et E._, les parties étaient en pourparlers, et que l'initiative de procéder par le biais d'une société tierce, pour céder les droits de distribution au groupe H._, émanait de C._.
Il aurait appartenu au recourant de démontrer que les indices précités n'étaient pas concluants, ce qu'il ne fait nullement. Au demeurant, la position du recourant n'est pas sans contradiction. En effet, on peine à comprendre pourquoi, selon sa thèse, il aurait accepté de procéder au transfert des droits de distribution en septembre 2005 de C._ à E._, parce que le groupe H._ lui aurait demandé de passer par une société tierce, alors qu'il affirme qu'à ce moment les négociations auraient été rompues.
Le grief tiré de l'appréciation arbitraire des faits doit donc être rejeté. Dans la suite de son raisonnement, la Cour de céans se fondera exclusivement sur les faits ressortant de l'arrêt attaqué.
III. IFD
7.
Le recourant conteste l'existence d'une prestation appréciable en argent et invoque une violation du droit à la preuve. Il reproche à la Cour de justice d'avoir admis une telle prestation, alors que l'administration intimée n'aurait pas démontré que la transaction de 2005 ne se serait pas faite au prix du marché. Dans ce contexte, il conteste la référence à une troisième transaction, à savoir la revente par E._ du contrat de distribution à G._, survenue le 3 mars 2006, dont aucune pièce à la procédure ne décrit les modalités.
7.1. Sont imposables comme rendement de la fortune mobilière en particulier les dividendes, les parts de bénéfice, les excédents de liquidation et tous les autres avantages appréciables en argent provenant de participations de tout genre (art. 20 al. 1 lit. c LIFD).
Selon la jurisprudence, il y a distribution dissimulée de bénéfice constitutive de prestation appréciable en argent lorsque quatre conditions cumulatives sont remplies : 1) la société fait une prestation sans obtenir de contre-prestation correspondante; 2) cette prestation est accordée à un actionnaire ou à une personne le ou la touchant de près; 3) elle n'aurait pas été accordée dans de telles conditions à un tiers; 4) la disproportion entre la prestation et la contre-prestation est manifeste, de telle sorte que les organes de la société auraient pu se rendre compte de l'avantage qu'ils accordaient (<ref-ruling> consid. 4.1 p. 92 et les arrêts cités).
En vertu de la théorie dite du triangle, une prestation appréciable en argent à un tiers proche de la société peut, sous l'angle de l'imposition des revenus, être qualifiée suivant les circonstances d'attribution imposable (en particulier en tant que distribution dissimulée de bénéfice) auprès de l'actionnaire (<ref-ruling> consid. 4.2 p. 61 s. et les références, confirmé in arrêts 2C_177/2016 du 30 janvier 2017 consid. 4.3, in RDAF 2017 II 284; 2C_252/2014 du 12 février 2016 consid. 2.3). Lorsque la participation appartient à la fortune privée, la théorie du triangle s'applique dans tous les cas (arrêt 2C_177/2016 du consid. 5.2.1 et les références, ainsi que consid. 5.4). Lorsque, comme en l'espèce, une prestation appréciable en argent intervient entre sociétés soeurs qui sont dominées par le même détenteur de participations qui les possède dans sa fortune privée, ce dernier doit donc aussi être imposé lorsqu'une justification commerciale d'un tel procédé fait totalement défaut (<ref-ruling> consid. 4.2 p. 61 s.).
En l'occurrence, le recourant était actionnaire unique de C._ et de E._, dont il était par ailleurs administrateur unique jusqu'en mai 2006. Pour vérifier si la vente, survenue le 27 septembre 2005, du contrat de distribution G._, de C._ à E._ pour le prix de 2'400'000 fr. est constitutive d'une prestation appréciable en argent, imposable auprès du recourant, il convient donc de s'interroger sur la justification commerciale d'une telle opération. Il s'agit en particulier d'examiner si, en retenant que le prix convenu ne respectait pas le prix du marché, qui était en réalité, selon l'arrêt attaqué, de 4'923'370 fr., les juges précédents ont violé le droit fédéral.
7.2. Pour savoir s'il y a disproportion entre les prestations, il faut se demander si la prestation aurait été accordée dans la même mesure à un tiers étranger à la société, soit si la transaction a respecté le principe de pleine concurrence ( "dealing at arm's length "; <ref-ruling> consid. 4.1 p. 92 s.; <ref-ruling> consid. 2.2 p. 60; 545 consid. 3.2 p. 549). La mise en oeuvre du principe de pleine concurrence suppose l'identification de la valeur vénale du bien transféré ou du service rendu. Une comparaison effective peut être faite avec le prix du marché ou avec une transaction comparable. S'il n'existe pas de marché libre ni de transaction comparable, d'autres méthodes permettant de déterminer le prix de pleine concurrence sont utilisables, dont celle du prix de revente (cf. <ref-ruling> consid. 4.2 p. 93).
7.3. La détermination de la valeur vénale de biens ou de services dans ce contexte n'est pas qu'une pure question de fait, que le Tribunal fédéral ne pourrait revoir que sous l'angle de l'arbitraire. Elle doit être conforme aux principes du droit fédéral, qui ont été dégagés par la jurisprudence rappelée ci-dessus. Si l'estimation effectuée par l'autorité inférieure est conforme à ces principes, ce que le Tribunal fédéral revoit librement, elle doit alors être acceptée si elle n'est pas manifestement insoutenable (arrêt 2C_1082/2013 du 14 janvier 2015 consid. 5.5 et les références, in RF 70/2015 p. 432).
7.4. Dans le domaine des prestations appréciables en argent, le fardeau de la preuve se répartit comme suit : les autorités fiscales doivent apporter la preuve que la société a fourni une prestation et qu'elle n'a pas obtenu de contre-prestation ou une contre-prestation insuffisante; si les preuves recueillies par l'autorité fiscale fournissent suffisamment d'indices révélant l'existence d'une telle disproportion, il appartient alors au contribuable d'établir l'exactitude de ses allégations contraires (<ref-ruling> consid. 7.1 p. 66; <ref-ruling> consid. 4.3 p. 158 précité; arrêt 2C_927/2013 21 mai 2014 consid. 5.4, in RDAF 2014 II 463). Cependant, une fois qu'un fait est tenu pour établi, la question du fardeau de la preuve ne se pose plus (<ref-ruling> consid. 4.3 p. 235; arrêt 2C_445/2015 du 26 août 2016 consid. 7.1).
7.5. En l'espèce, les autorités genevoises ont retenu que le prix de 2'400'000 fr. convenu pour le transfert du contrat de distribution G._ conclu en septembre 2005 entre C._ et E._ était trop bas. Elles sont parvenues à cette conclusion en comparant cette transaction avec le montant payé au final par G._ (soit le groupe H._) pour pouvoir disposer des droits de distribution, objet du contrat cédé. Pour ce faire, elles ont tenu compte des deux autres transactions survenues début 2006 : le 3 février 2006, le recourant a vendu le capital-actions de E._ à G._ (société détenue par le groupe H._) pour un montant de 2'600'000 fr.; le 3 mars 2006, E._, alors entièrement détenue par G._, a " revendu " le contrat de distribution à son actionnaire, pour un montant de 2'400'000 francs. Selon les autorités cantonales, le montant de ces deux dernières transactions devaient s'ajouter, puisque le principal actif de E._ à l'époque de ces transactions était ledit contrat. Du reste, alors que G._ avait acquis l'entier du capital-actions de E._ pour un montant de 2'600'000 fr., on ne comprenait pas pourquoi, un mois plus tard, elle lui avait en plus acheté ce contrat pour 2'400'000 fr., alors que le seul actif de E._ consistait dans ledit contrat. A cela s'ajoutait que E._ avait payé les 2'400'000 fr. qu'elle devait à C._ en avril-mai 2006, alors que le recourant avait perçu, au début du mois de février, le 80 % de 2'600'000 fr. pour la cession du capital-action de E._ à G._. Au final, les autorités cantonales ont retenu que la valeur du marché du contrat de distribution était de 5'000'000 fr. moins la valeur comptable de E._ de 76'630 fr., soit 4'923'370 francs. Partant, le prix de 2'400'000 fr. convenu en septembre 2005 entre C._ et E._ pour la vente dudit contrat était inférieur à la valeur vénale de cet actif (4'923'370 fr.), la différence, par 2'523'370 fr., devant être ajoutée au revenu imposable du recourant.
7.6. Le résultat auquel parvient l'instance précédente n'est pas contestable : G._, dont la qualité de tiers n'est pas remise en cause, s'est déclarée prête à racheter les actions de E._ pour le prix de 2'600'000 fr., et ce quelques mois seulement après le transfert litigieux du contrat de distribution entre C._ et E._ et alors que cette dernière n'avait pas encore payé à C._ le montant dû pour la cession du contrat. Selon les faits constatés par les juges précédents, qui lient le Tribunal fédéral, le contrat de distribution représentait en outre le seul actif présentant de valeur dans le bilan de E._, qui devait être comptabilisé à hauteur de son prix d'acquisition, soit 2'400'000 francs. En même temps, les passifs de E._ comprenaient 2'400'000 fr., correspondant à la dette du prix de vente dû à C._, qui n'a été acquittée qu'en avril/mai 2006, ainsi que les fonds propres, pour un montant de 76'630 francs. Si G._ a été d'accord de débourser 2'600'000 fr. pour acquérir E._, il faut en déduire que la valeur du contrat de distribution s'élevait à environ 5'000'000 fr. (valeur comptable du contrat de 2'400'000 fr. + réserves latentes de 2'600'000 fr., sous déduction des fonds propres), un tiers n'ayant pas de raisons de payer 2'600'000 fr. pour les actions d'une société présentant des fonds propres de 76'630 fr. et une dette de 2'400'000 francs. Selon les faits constatés de manière non arbitraire (cf. consid. 6) et sur lesquels le raisonnement juridique doit être conduit, aucun élément ne permet d'expliquer comment et pourquoi la valeur du contrat aurait plus que doublé entre la fin du mois de septembre 2005 et le début du mois de février 2006. Il faut en conclure que le prix de 2'400'000 fr. convenu entre les sociétés soeurs n'a pas représenté le prix du marché. Cette transaction a constitué une prestation appréciable en argent de C._ à E._, d'un montant de 2'600'000 fr. sous déduction des fonds propres de 76'630 fr., soit de 2'523'370 francs.
7.7. Le recourant se méprend lorsqu'il voit dans le raisonnement des juges précédents une violation du fardeau de la preuve. Dès lors que la Cour de justice a constaté, en appliquant une méthode conforme à la jurisprudence et sur la base d'une appréciation qui ne peut être qualifiée d'insoutenable des éléments en sa position, que le prix de vente de la transaction du 27 septembre 2005 était disproportionné par rapport à la valeur réelle des droits de distribution cédés, elle a établi les faits. Il n'y a ainsi plus de place à une violation du fardeau de la preuve (cf. supra consid. 7.4 in fine).
7.8. En retenant une prestation appréciable en argent imposable auprès du recourant en matière d'IFD pour la période fiscale 2005 s'élevant à 2'523'370 fr., les autorités cantonales n'ont donc pas violé le droit fédéral.
8.
Dans un dernier grief, le recourant invoque une absence de faute et en déduit que les amendes infligées pour soustraction fiscale doivent être annulées.
8.1. Selon l'<ref-law>, est notamment puni d'une amende le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète (al. 1); en règle générale, l'amende est fixée au montant de l'impôt soustrait; si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (al. 2).
Cette disposition implique donc qu'il y ait soustraction d'un montant d'impôt en violation d'une obligation légale incombant au contribuable et une faute de ce dernier. Celle-ci peut être commise intentionnellement ou par négligence (<ref-ruling> consid. 4.2 p. 90; arrêt 2C_276/2014 du 22 janvier 2015 consid. 4.1 et 4.3.1).
Établir la conscience et la volonté relève de la constatation des faits, qui lie le Tribunal fédéral (cf. <ref-law>). En revanche, vérifier si l'autorité s'est fondée sur la notion exacte d'intention (ou de négligence) est une question de droit que le Tribunal fédéral revoit librement (arrêts 2C_32/2016 du 24 novembre 2016 consid. 15.2; 2C_1221/2013 du 4 septembre 2014, in StE 2015 B 101.21 Nr. 21; 2C_908/2011 du 23 avril 2012 consid. 3.1, in RDAF 2012 II 324).
Enfin, le Tribunal fédéral n'examine le montant de l'amende pour soustraction d'impôt que sous l'angle de l'excès ou de l'abus du pouvoir d'appréciation. Par conséquent, il n'annule une amende fiscale que si l'instance précédente a abusé ou excédé le cadre pénal, s'est écartée de considérations juridiques ou a arbitrairement fixé une peine trop légère ou trop lourde (<ref-ruling> consid. 2.2 p. 133; <ref-ruling> consid. 4a p. 31).
8.2. La Cour de justice a retenu que le recourant avait transféré en septembre 2005 de C._ à E._ le contrat de distribution pour le prix de 2'400'000 fr., alors que la valeur réelle de celui-ci était de 4'923'370 fr. et qu'il avait pu imposer ce prix de faveur, car il dominait ces deux sociétés. En réalité, par un montage juridique consistant à faire payer une société tierce, le recourant avait obtenu la somme de cinq millions de francs sous déduction des fonds propres de E._ pour la reprise dudit contrat de distribution. Il a aussi été constaté que le recourant, du fait de sa position, ne pouvait ignorer la valeur réelle du contrat de distribution et, au travers du montage juridique sophistiqué mis en place, qu'il avait pour seul but de percevoir le montant correspondant à la valeur réelle du contrat, tout en économisant des impôts sous la forme d'un gain en capital non imposable. La mise en place d'un tel ensemble complexe d'opérations ne pouvait résulter que d'une volonté délibérée du contribuable, de sorte qu'il fallait retenir que ce dernier avait commis de manière intentionnelle une soustraction d'impôt. La Cour de justice a toutefois confirmé la réduction de l'amende à la moitié de l'impôt soustrait prononcée par les autorités inférieures, en la fondant à la fois sur la bonne collaboration du contribuable et sur sa situation financière difficile.
8.3. Sur la base de ces constatations de fait qui lient la Cour de céans, dès lors que le recourant ne les remet pas en cause sous l'angle de l'arbitraire, on ne voit pas que la Cour de justice ait méconnu la notion d'intention en considérant que le recourant avait agi avec conscience et volonté.
Pour démontrer son absence de faute (intentionnelle ou par négligence), le recourant ne discute du reste pas les éléments précités, mais présente sa propre version des faits, se focalisant sur son argument principal selon lequel les pourparlers avec le groupe H._ auraient été rompus en septembre 2005. Comme il l'a déjà été indiqué, c'est sans arbitraire que les autorités cantonales ont refusé de retenir cette allégation, de sorte que son argumentation repose sur des prémisses qui ne peuvent être suivies.
Quant à la position du recourant, selon laquelle il n'aurait fait que se fier au calcul documenté de sa fiduciaire, celui-ci perd de vue que d'une part, il ne s'agit pas d'un motif permettant de fonder une absence de faute du contribuable, dès lors que celui-ci répond en principe des personnes à qui il a demandé conseil. A cela s'ajoute qu'il n'a pas été constaté qu'il n'aurait agi que sous l'impulsion de sa fiduciaire. Au contraire, l'arrêt attaqué retient qu'il était peu crédible que le recourant se soit fié au calcul expliqué par sa fiduciaire, compte tenu de la position dominante occupée par l'intéressé, qui impliquait qu'il ne pouvait ignorer la valeur réelle du contrat de distribution.
Enfin, le recourant ne peut rien tirer du comportement de l'administration cantonale, qui avait dans un premier temps admis la taxation 2005 du recourant et le prix de 2'400'000 fr., dès lors que c'est seulement après avoir eu connaissance des deux autres transactions survenues début 2006 que les autorités fiscales ont été en mesure de réaliser que le prix convenu ne correspondait pas au prix réel des droits de distribution transférés et qu'elles ont procédé à un rappel d'impôts.
Dans son principe, la condamnation du recourant pour soustraction fiscale ne viole donc pas l'<ref-law>.
Enfin, on ne voit pas qu'en fixant l'amende à la moitié de l'impôt soustrait pour tenir compte de la collaboration ultérieure et de la situation financière du recourant, la Cour de justice ait abusé de son pouvoir d'appréciation, ce que le recourant ne conteste du reste pas.
9.
Dans ces circonstances, le recours doit être rejeté en ce qu'il concerne l'IFD 2005 et l'amende prononcée en lien avec cet impôt.
IV. ICC
10.
La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (<ref-ruling> consid. 10 p. 101).
S'agissant de l'imposition 2005 du recourant en matière d'ICC, la loi applicable est la loi genevoise sur l'imposition des personnes physiques - impôt sur le revenu (revenu imposable) du 22 septembre 2000 (aLIPP-IV) en vigueur jusqu'au 31 décembre 2009 (cf. art. 69 de la loi sur l'imposition des personnes physiques du 27 septembre 2009 [LIPP - D 3 08]; arrêt 2C_1081/2013 du 2 juin 2014 consid. 5.2, in RF 69/2014 p. 720). Cette disposition correspond à l'<ref-law> et est libellée de manière similaire à l'art. 20 al. 1 let. c LIFD. La Cour de justice a du reste appliqué la notion de prestation appréciable en argent et la théorie du triangle de matière identique tant en matière d'ICC que d'IFD (cf. arrêt 2C_177/2016 du 30 janvier 2017 consid. 7).
En ce qui concerne l'amende pour soustraction fiscale, les <ref-law> et 69 al. 1 de la loi genevoise de procédure fiscale (LPFisc; RS/ GE D 3 17) relatifs à la soustraction d'impôt, ont la même teneur que l'<ref-law>.
Il peut ainsi être renvoyé, tant s'agissant de la taxation 2005 du recourant en matière d'ICC que de l'amende pour soustraction fiscale relative à cet impôt, à la motivation développée en matière d'IFD. Le recours doit par conséquent également être rejeté sur ces points.
V. Frais
11.
Compte tenu de l'issue du recours, le recourant doit en principe supporter les frais judiciaires; ceux-ci seront cependant réduits pour tenir compte de sa situation financière (<ref-law>). Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_674/2015 et 2C_675/2015 sont jointes.
2.
Le recours est rejeté en ce qui concerne l'IFD 2005 et l'amende prononcée en lien avec cet impôt.
3.
Le recours est rejeté en ce qui concerne l'ICC 2005 et l'amende prononcée en lien avec cet impôt.
4.
Des frais judiciaires réduits, arrêtés à 6'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2 ème section, et à l'Administration fédérale des contributions.
Lausanne, le 26 octobre 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens