Faits :
A.
X._ (ci-après: le contribuable ou le recourant), exerce à titre indépendant la profession d'assureur, sous la raison individuelle "Agence principale A._, X._" (ci-après : l'agence), sise à Genève, dont le but social vise le conseil et la vente de produits d'assurances et financiers de A._ et de ses partenaires financiers. En parallèle, le contribuable était l'associé-gérant de B._ Sàrl jusqu'au 9 mars 2017, qui avait son siège à Zoug et dont le but social était alors l'achat, la vente, l'élevage et l'entraînement de chevaux, en particulier à des fins sportives, ainsi que la promotion des chevaux de sport et services spéciaux dans tous les domaines y relatifs.
Le contribuable a été taxé pour les années fiscales 2003 à 2009 par l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale). Il a fait l'objet de taxations ordinaires pour les exercices fiscaux 2003 à 2007 et a été imposé d'office pour la période fiscale 2008, faute d'avoir déposé à temps sa déclaration d'impôt. Il a déposé cette dernière déclaration ultérieurement le 20 septembre 2010 en mentionnant des revenus imposables pour l'impôt fédéral direct (ci-après : IFD) et l'impôt cantonal et communal (ci-après : ICC) supérieurs à ce qu'avait retenu l'Administration fiscale dans la taxation d'office. Ces taxations sont entrées en force.
B.
Le 8 octobre 2010, l'Administration fiscale a informé le contribuable de l'ouverture d'une procédure en rappel d'impôt et d'une procédure pénale pour soustraction d'impôt à son encontre pour l'IFD et l'ICC des années 2005 à 2007, à la suite d'une communication de l'Administration fédérale des contributions relative à des loyers payés par la société C._ Sàrl qui auraient été encaissés et non déclarés par le contribuable.
Lors d'un entretien avec l'Administration fiscale le 26 octobre 2010, le contribuable, pièces à l'appui, a indiqué que des montants avaient été versés par C._ Sàrl à B._ Sàrl dans le cadre d'un sponsoring, que ceux-ci figuraient dans les comptes de cette dernière et avaient été déclarés. Il a ajouté que les représentants de C._ Sàrl avaient travaillé dans les locaux de son agence pour des activités de conseil en assurance, mais ne lui avaient versé aucun loyer, car il n'avait pas le droit de sous-louer ses locaux. Le 16 novembre 2010, l'Administration fiscale a demandé au recourant qu'il produise notamment le détail des commissions et rétrocessions versées par C._ Sàrl, ainsi que les extraits du grand-livre 2005 de l'agence afin de vérifier que cette dernière n'avait plus comptabilisé en 2005 une charge de sponsoring en faveur de B._ Sàrl. Le contribuable a alors précisé ne pas avoir reçu de commissions de la part de C._ Sàrl entre 2005 et 2007, mais avoir comptabilisé un montant de 25'220.30 fr. à ce titre en 2009. Le 23 novembre 2010, l'Administration fiscale a requis du contribuable qu'il lui transmette, entre autres, une copie du grand-livre et de la balance des soldes de toute la comptabilité 2007, de même que le détail du montant de 25'220.30 fr. précité. Dans une réponse reçue par l'Administration fiscale le 1er décembre 2010, le contribuable a produit diverses pièces et dénoncé spontanément des revenus qu'il n'avait pas inclus dans sa comptabilité 2008, mais dans celle de 2009.
Le 2 décembre 2010, le contribuable a déposé sa déclaration fiscale 2009.
Le 13 décembre 2010, l'Administration fiscale a informé le contribuable que compte tenu des renseignements fournis par ce dernier les 20 septembre et 1er décembre 2010, les procédures ouvertes à son encontre le 8 octobre 2010 étaient étendues à l'IFD et l'ICC 2008. Elle lui demandait aussi de lui remettre notamment le grand-livre de sa comptabilité pour les années 2005 à 2009 avec tous les justificatifs y afférents. En janvier 2011, le contribuable a déposé auprès de l'Administration fiscale vingt classeurs fédéraux comportant l'intégralité des documents requis. Sur nouvelle requête de cette dernière, il lui a également remis diverses pièces comptables concernant les exercices commerciaux de l'agence de 2003 à 2009, en reconnaissant avoir comptabilisé certaines de ses dépenses privées parmi les charges de l'agence.
Le 26 mars 2013, l'Administration fiscale l'a informé de l'extension des procédures engagées à son encontre les 8 octobre et 13 décembre 2010 à l'IFD et l'ICC 2003 et 2004, des factures privées ayant été passées en charges dans ses comptabilités commerciales. A cette occasion, elle lui a demandé de produire des pièces comptables des années 2003 et 2004, ainsi que tous les justificatifs concernant la comptabilité de l'agence pour les années 2005 à 2009. Après avoir obtenu une prolongation de délai pour donner suite à cette demande, le contribuable ne s'est plus manifesté.
Le 2 juin 2014, l'Administration fiscale a clos la procédure de rappel d'impôts pour les années 2003 à 2007 et a notifié au contribuable des bordereaux en rappel d'impôt IFD et ICC, ainsi que des bordereaux d'amende pour chacune de ces années. Ces derniers étaient motivés par le fait que des frais non justifiés par l'usage commercial, essentiellement à caractère privé, avaient été passés en charges et que des revenus professionnels n'avaient pas été déclarés. La quotité des amendes a été fixée à 75% de l'impôt soustrait, afin de tenir compte de la bonne collaboration du contribuable. Le montant total des suppléments dus au titre de rappel d'impôt s'élevait à 19'430.20 fr. pour l'IFD et à 65'938.25 fr. pour l'ICC et celui des amendes à 14'570 fr. pour l'IFD et à 49'451 fr. pour l'ICC. Les reprises opérées à titre de charges non justifiées par l'usage commercial représentaient 41'532 fr. pour 2003, 40'768 fr. pour 2004, 41'646 fr. pour 2005, 50'466 fr. pour 2006 et 60'325 fr. pour 2007. Le 2 juin 2014 également, l'Administration fiscale a procédé au rappel d'impôt IFD et ICC 2008 pour un montant de 11'376.20 fr., respectivement 38'740 fr., celui des reprises effectuées s'élevant à 69'697 fr. Aucune amende n'était prononcée pour la période fiscale 2008, les conditions de la dénonciation spontanée non punissable étant remplies. Par bordereau du 11 juin 2014, l'Administration fiscale a taxé le contribuable pour l'année 2009 en ajoutant au revenu imposable un montant de 56'063 fr. au titre de charges non justifiées par l'usage commercial. Pour cette années, le montant dû à titre d'IFD s'élevait à 15'977.75 fr. et à 52'244.05 fr. pour l'ICC.
Le 19 juin 2015, l'Administration fiscale a admis partiellement les réclamations formées par le contribuable, en rectifiant les précédentes décisions de taxation pour les années 2003 à 2009 et en maintenant la quotité des amendes, dont les montants étaient arrêtés sur la base des taxations rectifiées. Le montant total des impôts dus pour la période 2003 à 2009 s'élevait à 59'861.40 fr. pour l'IFD (soit un dégrèvement de 8'688.90 fr.) et à 234'730.80 fr. pour l'ICC (soit un dégrèvement de 2'542.20 fr.); celui des amendes pour les années 2003 à 2007 à 13'952 fr. pour l'IFD et 47'797 fr. pour l'ICC.
Par jugement du 19 septembre 2016, le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) a rejeté le recours interjeté par le contribuable contre les décisions sur réclamations précitées du 19 juin 2015.
Par arrêt du 4 juillet 2017, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours du contribuable.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens: "a) d'annuler l'arrêt de la Cour de justice du 4 juillet 2017; b) de reconnaître que les conditions matérielles des art. 59 LPFisc et 151 LIFD n'étaient pas réunies pour l'ouverture d'une procédure en rappel et soustraction d'impôts; c) subsidiairement dans l'hypothèse d'une reconnaissance de validité de la procédure, de reconnaître l'arbitraire commis par l'administration en refusant le bien-fondé des preuves fournies par le contribuable en vue de la justification de frais professionnels bien réels".
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. Dans sa réponse, l'Administration fiscale conclut au rejet du recours. L'Administration fédérale des contributions conclut au rejet du recours dans la mesure où il est recevable et se rallie à l'arrêt attaqué de même qu'au mémoire de réponse de l'Administration fiscale.

Considérant en droit :
I. Recevabilité et objet du litige
1.
L'arrêt attaqué constitue une décision finale (<ref-law>) rendue dans une cause de droit public par une autorité judiciaire supérieure de dernière instance cantonale (art. 82 let. a et 86 al. 1 let. d et al. 2 LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'<ref-law>. Bien qu'il ne distingue pas, dans son dispositif, l'IFD de l'ICC, il ressort des motifs de l'arrêt querellé que le rejet du recours qu'il prononce concerne à la fois les deux catégories d'impôt et, pour ce qui concerne l'ICC, du droit harmonisé (cf. art. 53 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs, des cantons et des communes [LHID; RS 642.14]). La voie du recours en matière de droit public est donc en principe ouverte en vertu des <ref-law>, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 LHID.
2.
2.1. Le dépôt d'un seul acte de recours est autorisé dans la mesure où, comme en l'espèce, le recourant s'en prend clairement aux deux catégories d'impôts (cf. <ref-ruling> ss). L'arrêt attaqué ayant omis de distinguer, dans son dispositif, les deux catégories d'impôt, on ne peut reprocher au recourant de ne pas avoir formulé de conclusions séparées (cf. <ref-ruling> consid. 1.3.3 p. 264).
2.2. Dans sa première conclusion a), le recourant demande l'annulation de l'arrêt attaqué. Les conclusions purement cassatoires sont en principe irrecevables (cf. <ref-ruling> consid. 1.3 p. 317 et références). Il convient toutefois d'interpréter cette première conclusion à la lumière des autres conclusions du recours (cf. arrêt 2C_837/2015 du 23 août 2016 consid. 1.2, in StE 2017 A 22 5 et références citées). En l'occurrence, on peut comprendre de la deuxième conclusion b) que le recourant ne veut payer aucun montant à titre de rappel d'impôt, ni être amendé en raison d'une soustraction fiscale. Dans cette mesure, les conclusions a) et b) peuvent être interprétées comme portant sur la reprise concernant les périodes fiscales 2003 à 2008 et les amendes pour les périodes 2003 à 2007. En revanche, la conclusion subsidiaire c) tendant à la constatation du caractère arbitraire de l'appréciation des preuves est irrecevable, car absorbée par la conclusion principale (concernant la recevabilité des conclusions constatatoires, voir <ref-ruling> consid. 1.7 p. 123). Enfin, on peut se demander si les conclusions principales du recours (a et b) englobent la période de taxation 2009, puisque, pour cette période, le recourant n'avait pas été taxé précédemment et ne pouvait donc pas faire l'objet d'un rappel d'impôt, ni n'avait été amendé. Cette question peut cependant être laissée ouverte vu l'issue du recours.
2.3. Au surplus, le recours a été interjeté en temps utile compte tenu des féries (cf. art. 46 al. 1 let. c et 100 al. 1 LTF), par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière.
II. Droit applicable
3.
En l'absence d'une réglementation expresse contraire, le droit applicable à la taxation est celui en vigueur pendant la période fiscale en cause. Le rappel d'impôt relevant du droit matériel, le droit applicable obéit aux mêmes règles (arrêts 2C_173/2015 du 22 avril 2016 consid. 4 in RF 71 2016 882; 2C_416/2013 du 5 novembre 2013 consid. 5.1, non publié in <ref-ruling> mais in RDAF 2014 II 40 et Pra 2014 (45) p. 317, et les arrêts cités).
En matière d'IFD, la LIFD, entrée en vigueur le 1er janvier 1995, est ainsi applicable aux périodes litigieuses. L'ICC est régi par l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (aLIPP-V; abrogée au 31 décembre 2009; cf. art. 69 al. 1 let. e de la loi cantonale du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP; RS/GE D 3 08]), par la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc; RS/GE D 3 17), ainsi que par la LHID, entrée en vigueur le 1er janvier 1993, avec un délai pour les cantons au 31 décembre 2000 pour adapter leur législation (<ref-law>).
III. Prescription
4.
La prescription ou la péremption sont des questions de droit matériel que le Tribunal fédéral examine d'office lorsqu'elles jouent en faveur du contribuable (cf. <ref-ruling> consid. 3.2 p. 171) tant pour l'IFD que l'ICC, lorsque celles-ci se fondent sur le droit fédéral (cf. <ref-ruling> consid. 3.4 p. 172; arrêts 2C_333/2017 du 12 avril 2018 consid. 8; 2C_12/2017 du 23 mars 2018 [destiné à la publication] consid. 4.3).
4.1. L'<ref-law> prévoit que le droit d'introduire une procédure de rappel d'impôt s'éteint dix ans après la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou pour laquelle la taxation entrée en force était incomplète. Le droit de procéder au rappel d'impôt s'éteint 15 ans après la fin de la période fiscale à laquelle il se rapporte (<ref-law>; cf. <ref-ruling> consid. 6.1 p. 73). Les art. 61 al. 1 et 3 LPFisc et 53 al. 2 et 3 LHID posent les mêmes principes. La problématique peut donc être examinée conjointement pour l'IFD et l'ICC.
En l'occurrence, il ressort des faits de l'arrêt entrepris qu'un avis d'ouverture de la procédure de rappel d'impôt a été notifié au recourant en octobre 2010 pour l'IFD et l'ICC 2005 à 2007, en décembre 2010 pour l'IFD et l'ICC 2008 et en mars 2013 pour l'IFD et l'ICC 2003 et 2004. Le délai de péremption de 10 ans des <ref-law>, 61 al. 1 LPFisc et 53 al. 2 LHID a ainsi été respecté (pour l'année fiscale 2003, le délai échéait à la fin de l'année 2013). Il en va de même du délai concernant le droit de procéder au rappel d'impôt (<ref-law>, 61 al. 3 LPFisc et 53 al. 3 LHID), la péremption survenant au plus tôt à la fin de la période fiscale 2018 pour l'année fiscale 2003 et plus tard pour les autres périodes en cause.
4.2. Avant le 1er janvier 2017, la poursuite pénale de la soustraction consommée se prescrivait par 15 ans, par le jeu de l'ancien art. 184 al. 1 let. b ch. 1 et al. 2 LIFD, en lien avec l'<ref-law> (arrêts 2C_12/2017 du 23 mars 2018 [destiné à la publication] consid. 4.1; 2C_173/2015 du 22 avril 2016 consid. 5.1.1, in RF 71/2016 p. 882). Depuis le 1er janvier 2017, la poursuite pénale se prescrit, en cas de soustraction d'impôt consommée, au plus tôt, par dix ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète (art. 184 al. 1 let. b ch. 1 LIFD). Selon le nouvel <ref-law>, la prescription ne court plus si une décision a été rendue par l'autorité cantonale compétente (<ref-law>) avant l'échéance du délai de prescription. L'<ref-law>, en vigueur depuis le 1er janvier 2017, a un contenu identique à celui de l'<ref-law>; il est directement applicable si les cantons n'ont pas adapté leur législation au 1er janvier 2017 (<ref-law>; cf. art. 77 LPFisc dont l'al. 2 diffère de l'<ref-law>). En vertu des <ref-law> et 78f LHID, le nouveau droit est applicable au jugement des infractions commises au cours de périodes fiscales précédant le 1er janvier 2017 s'il est plus favorable que le droit en vigueur au cours de ces périodes fiscales (cf. arrêts 2C_333/2017 du 12 avril 2018 consid. 8; 2C_12/2017 du 23 mars 2018 [destiné à la publication] consid. 4.3).
En l'occurrence, en application du nouveau droit, la poursuite pénale de la soustraction d'impôt consommée commise par le recourant au cours de la période fiscale 2003 s'est prescrite à la fin de la période fiscale 2013, aussi bien pour l'IFD que l'ICC. La prescription n'a en effet pas été interrompue par la décision de l'Administration fiscale, qui n'est intervenue que le 2 juin 2014, soit plus de dix ans après la fin de la période fiscale 2003. Le nouveau droit est partant applicable en tant que lex mitior pour ladite période. En revanche, la poursuite pour soustraction fiscale consommée pour les périodes fiscales 2004 à 2007 n'a été atteinte ni sous l'angle de l'ancien droit ni sous l'angle du nouveau droit.
IV. Griefs relatifs aux faits
5.
5.1. Le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2 p. 117) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>) doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>). A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas constatés (<ref-ruling> consid. 2 p. 5; <ref-ruling> consid. 5.2.2 p. 322). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104 s.). En outre, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Lorsque le recourant s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.2 p. 560). Il appartient au recourant de le démontrer (cf. arrêt 2C_722/2017 du 13 décembre 2017 consid. 2.1 et références).
5.2. En l'occurrence, le recourant reproche aux autorités précédentes d'avoir retenu qu'il n'avait pas apporté la preuve que les frais en cause étaient en relation avec son activité professionnelle et leur fait grief, en mentionnant l'arbitraire, d'avoir rejeté les preuves pertinentes qu'il avait fournies. En cela, le recourant s'en prend à l'appréciation des preuves. Dans ce cadre, il invoque également un formalisme excessif et une violation du droit de faire administrer des preuves pertinentes, qui est une composante du droit d'être entendu (cf. <ref-ruling> consid. 6.3.1 p. 299; <ref-ruling> consid. 3.3 p. 496).
5.3. La Cour de justice a retenu que le recourant n'avait pas apporté d'éléments suffisamment probants pour établir que les frais repris par l'Administration fiscale étaient effectivement des frais professionnels susceptibles d'être déduits. Elle a relevé que le recourant se bornait à produire devant elle, les documents similaires à ceux produits devant les autorités précédentes, sans apporter aucune précision supplémentaire sur la justification de ses frais de représentation et se contentait de répéter les mêmes explications d'ordre général. Selon elle, le fait que le recourant utilisait l'équitation, qu'il pratiquait à titre privé, comme un moyen de prospection ne l'autorisait encore pas à imputer la totalité de ses frais équestre à l'exercice de son activité professionnelle. La Cour de justice a estimé que les différents éléments produits par le recourant (liste de reçus, d'achats d'articles équestres et de luxe destinés à sa clientèle, tableau des clients) ne permettaient pas d'établir que l'usage commercial justifiait les frais en cause.
5.4. Le recourant présente tout d'abord sous le titre "En faits" de son mémoire, sa propre version des faits. Dans la mesure où celle-ci s'écarte des faits constatés dans l'arrêt attaqué sans qu'il soit indiqué en quoi ceux-ci seraient manifestement inexacts ou arbitraires, elle n'est pas admissible. En outre, il ne sera pas tenu compte des pièces déposées par le recourant qui ne ressortent pas déjà de la procédure cantonale et qui constituent des moyens nouveaux (cf. <ref-law>), à savoir, en particulier, les documents intitulés "Note de frais", deux compléments d'attestations et un courrier du 5 septembre 2017 (annexe 11 au recours) (cf. <ref-ruling> consid. 4.4.3 p. 128 s.).
En ce qui concerne l'appréciation prétendument arbitraire des preuves, le recourant reproche de façon générale aux juges cantonaux de ne pas avoir tenu compte d'un certain nombre de pièces produites, telles que la liste des "clients équestres" et celle de justificatifs de dépenses liées à des manifestations hippiques. Dès lors que ces pièces concernent des activités équestres, on ne voit pas en quoi les juges cantonaux sont tombés dans l'arbitraire en retenant que le lien avec l'activité professionnelle d'agent d'assurance du recourant n'avait pas été démontré. Il appartenait au recourant d'expliquer précisément en quoi ces pièces se rapportaient à sa profession, ce qu'il ne fait pas.
Par ailleurs, le recourant fait valoir qu'une facture pour deux ordinateurs prouverait l'existence d'une charge professionnelle. Il ne démontre cependant pas avoir allégué ce fait devant l'autorité précédente, conformément aux règles de la procédure cantonale, ni ne fait la démonstration, comme l'exige l'<ref-law>, que l'instance précédente serait tombée dans l'arbitraire en ignorant cet élément de fait. Ce grief est ainsi irrecevable.
Enfin, sous l'angle du droit d'être entendu, le recourant n'indique pas que la Cour de justice aurait refusé de donner suite à des offres de preuve qu'il aurait présentées et n'explique pas en quoi son droit d'obtenir l'administration des preuves pertinentes aurait été violé. La motivation du grief de violation du droit d'être entendu est ainsi insuffisante et il ne peut être entré en matière sur celui-ci (cf. <ref-law>). Il en va de même du grief relatif à l'existence d'un formalisme excessif, qui ne répond pas non plus aux exigences de cette disposition.
5.5. C'est partant sur la base des constatations ressortant de l'arrêt attaqué qu'il convient de vérifier si la Cour cantonale a correctement appliqué le droit.
V. IFD, reprises
6.
6.1. Aux termes de l'<ref-law>, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Le rappel d'impôt est soumis à des conditions objectives. Il faut d'abord qu'une taxation n'ait, à tort, pas été établie ou soit restée incomplète, de sorte que la collectivité publique a subi une perte fiscale. Le rappel d'impôt suppose ensuite l'existence d'un motif de rappel. A cet égard, l'<ref-law> envisage en premier lieu la découverte de moyens de preuve ou de faits jusque là inconnus de l'autorité fiscale. ll y a ainsi motif à rappel d'impôt lorsque l'autorité découvre des faits ou des moyens de preuve qui ne ressortaient pas du dossier dont disposait l'autorité fiscale au moment de la taxation (arrêts 2C_676/2016 du 5 décembre 2017 consid. 4.1; 2C_1018/2015 du 2 novembre 2017 consid. 6.1, in Archives 86 p. 407, RF 73/2018 p. 255 et RDAF 2017 II 630, tous deux avec références citées). Le rappel d'impôt ne peut porter que sur les points pour lesquels l'autorité fiscale dispose de nouveaux éléments (CASANOVA/DUBEY, in Commentaire romand, IFD, 2 éd. 2017, n° 8 ad <ref-law> et références citées).
6.2. Le recourant conteste que les conditions permettant d'ouvrir une procédure de rappel d'impôt à son encontre étaient données. Il reproche à l'Administration cantonale d'avoir étendu à sa personne la procédure en rappel d'impôt, ouverte initialement selon lui contre B._ Sàrl, en raison de soupçons concernant des loyers perçus non déclarés. Il estime que cette procédure aurait dû être clôturée au moment où il avait apporté la preuve que ces soupçons étaient infondés et que les sommes en cause constituaient du "sponsoring" reçu par ladite société qui avait été déclaré dans les comptes de cette dernière. Il fait valoir qu'à ce moment, il n'avait pas apporté d'élément qui le concernait à l'Administration fiscale et que celle-ci ne pouvait alors pas nourrir de soupçons à son encontre. En outre, il conteste que de simples allégations, de nature calomnieuse, suffisent à l'ouverture d'une procédure en rappel d'impôt.
6.3. La Cour de justice a retenu que l'Administration fiscale avait ouvert une procédure en rappel d'impôt et une procédure pénale pour soustraction d'impôt à l'encontre du recourant pour l'IFD et l'ICC des années fiscales 2005 à 2007 sur la base d'informations communiquées par l'AFC, qui étaient propres à justifier l'ouverture de ladite procédure le 8 octobre 2010. Les documents comptables remis par le recourant dans ce contexte ayant soulevé de nouveaux soupçons, l'Administration fiscale était habilitée à étendre ultérieurement la procédure en rappel d'impôt aux périodes fiscales 2003, 2004 et 2008. Selon elle, les conditions d'ouverture d'une telle procédure étaient par conséquent réalisées.
6.4. En l'occurrence, il ressort des faits de l'arrêt entrepris, qui lient le Tribunal fédéral (cf. <ref-law>), que la procédure en rappel d'impôt, contrairement à ce qu'allègue le recourant, avait été initialement ouverte le 8 octobre 2010 à son encontre. Elle l'a été à la suite de la communication de l'AFC concernant des loyers non déclarés que le recourant aurait perçus. Une telle information était propre à faire naître des soupçons de soustraction d'impôt, lesquels suffisent à justifier la procédure de rappel d'impôt dans son principe (cf. arrêts 2C_514/2009 du 25 mars 2010 c. 3.1 et 2C_104/2008 du 20 juin 2008 consid. 3.4.1). Le fait que les éléments à la base de ces soupçons n'aient pas été confirmés par la suite et aient en définitive concerné B._ Sàrl et non le recourant ne modifie en rien le caractère justifié de l'ouverture de la procédure. Sur ce point, l'autorité précédente relève à juste titre que les motifs permettant l'ouverture de la procédure de rappel d'impôt ne doivent pas être confondus avec le bien-fondé matériel de la reprise d'impôt (cf. arrêt 2C_104/2008 du 20 juin 2008 consid. 3.4.1 in fine). L'examen des documents comptables remis par le recourant dans le cadre de la procédure de rappel d'impôt, de même que sa dénonciation spontanée du 1er décembre 2010, a permis la découverte d'un certain nombre de faits nouveaux justifiant un rappel d'impôt, notamment l'existence d'éléments comptabilisés à tort comme des charges commerciales. Dans ces circonstances, l'Administration fiscale, qui se trouvait encore au stade de l'instruction de la procédure en rappel d'impôt initialement engagée, pouvait parfaitement étendre ladite procédure aux années 2003, 2004 et 2008. Il ne s'agit ici en effet pas de procéder à un nouvel examen de l'intégralité des taxations concernées, ce qui serait prohibé (cf. supra consid. 6.1), mais d'étendre la procédure de rappel d'impôts aux nouveaux éléments imposables détectés au cours des investigations menées par l'administration. Contrairement à ce que semble soutenir le recourant, les documents comptables qui ont permis de mettre à jour des faits nouveaux ont été produits par celui-ci, alors que les investigations menées concernant les prétendus loyers, respectivement, les montants perçus à titre de sponsoring, étaient encore en cours. Les extensions contestées de la procédure ont été effectuées avant que les décisions de rappel d'impôt ne soient rendues, si bien que la présente situation diffère de celle où l'autorité administrative chercherait à étendre l'objet de la contestation devant l'autorité de recours, ce qui ne serait en principe pas admissible (cf. <ref-ruling> consid. 5.2.1 p. 426; arrêt 2C_53/2017 du 21 juillet 2017 consid. 5.1). Par ailleurs, la fin de la procédure de rappel d'impôt engagée en octobre 2010 n'aurait pas empêché l'Administration fiscale d'ouvrir une nouvelle procédure de rappel d'impôt en cas de découverte ultérieure de nouveaux éléments. Enfin, le recourant ne reproche pas à l'Autorité fiscale de ne pas avoir respecté son droit d'être entendu lorsque celle-ci a étendu les périodes concernées par le rappel d'impôt.
Il s'ensuit que la Cour de justice n'a pas violé le droit en retenant que les conditions pour ouvrir une procédure de rappel d'impôt pour les années fiscales 2005 à 2007 étaient remplies, de même que celles permettant d'étendre ladite procédure aux années 2003, 2004 et 2008.
6.5. Au surplus, dans leur principe, les conditions du rappel d'impôt (taxation incomplète entraînant une perte fiscale et existence de faits jusque-là inconnus de l'autorité fiscale; cf. supra consid. 6.1) sont réalisées, ce que le recourant ne conteste pas devant le Tribunal fédéral.
7.
Le recourant critique en revanche le bien-fondé matériel des reprises effectuées pour les années fiscales 2003 à 2009, en indiquant en substance avoir démontré le lien entre les frais de représentation litigieux et son activité professionnelle, en particulier il estime avoir établi que les charges liées aux manifestations équestres étaient nécessaires à "l'acquisition et au maintien de sa clientèle d'agent d'assurance, clientèle essentiellement focalisée sur la niche des pratiquants de sport équestre".
7.1. D'après l'<ref-law>, les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel. La déductibilité de ces frais est conditionnée par la preuve de leur nécessité au regard de l'activité poursuivie. Selon un principe généralement admis en matière fiscale, il incombe à celui qui fait valoir l'existence d'un fait de nature à éteindre ou à diminuer sa dette fiscale d'en apporter la preuve et de supporter les conséquences de l'échec de cette preuve. A cet égard, le renvoi du législateur à l'usage, commercial ou professionnel, donne à l'autorité de taxation un pouvoir d'appréciation important, renforcé par le fait qu'elle ne supporte pas le fardeau de la preuve du refus de déduction (arrêts 2C_916/2012 du 28 février 2013 consid. 4.1; 2C_132/2010 du 17 août 2010 consid. 3.2 et références citées).
7.2. En l'espèce, la Cour de justice a retenu sans arbitraire que le lien entre les déductions requises, notamment se rapportant à des activités équestres, et les activités d'assurance du recourant n'avait pas été établi (cf. supra consid. 5.4). Sur cette base, on ne peut reprocher aux autorités cantonales de ne pas avoir reconnu la justification professionnelle ou commerciale des frais de représentation litigieux. Le recourant doit ainsi en supporter les conséquences et l'on ne saurait reprocher à la Cour de justice d'avoir confirmé les reprises effectuées par l'Administration fiscale pour les années fiscales 2003 à 2008, ainsi que, sous cet angle, le bordereau de taxation 2009.
VI. ICC, reprises
7.3. Concernant les conditions du rappel d'impôt, les art. 53 al. 1, 1ère phrase, LHID et 59 al. 1 LPFisc correspondent à l'<ref-law> (cf. arrêt 2C_722/2017 du 13 décembre 2017 consid. 3.2 et références). En outre, pour ce qui relève des frais justifiés par l'usage commercial, la teneur de l'<ref-law> correspond pour l'essentiel à celle des <ref-law> et 3 al. 3 aLIPP-V. Par conséquent, les considérations développées pour l'impôt fédéral direct concernant le rappel d'impôt et les reprises s'appliquent aussi à l'impôt cantonal et communal pour les périodes fiscales sous examen.
VII. Soustraction IFD
8. Sur la base des faits constatés, la condamnation du recourant pour soustraction fiscale au sens de l'<ref-law> ne prête pas le flanc à la critique (cf. arrêt 2C_1018/2015 du 2 novembre 2017 consid. 9, in Archives 86 p. 407, RF 73/2018 p. 255 et RDAF 2017 II 630), ce que celui-ci ne remet du reste pas en cause, ni sous l'angle du principe, ni de la quotité.
VIII. Soustraction ICC
9. La même conclusion peut être tirée s'agissant de l'ICC (cf. <ref-law> et 69 LPFisc, dont la teneur est identique à celle de l'<ref-law>).
IX. Issue du litige; frais et dépens
10.
Il ressort de ce qui précède que le recours doit être très partiellement admis en tant qu'il porte sur les amendes pour soustraction d'impôt fédérale, cantonale et communale de la période fiscale 2003. L'arrêt attaqué est ainsi réformé, en ce sens qu'aucune amende n'est infligée au recourant en lien avec les soustractions d'impôt commises au cours de la période fiscale 2003. Le recours est rejeté pour le surplus, dans la mesure où il est recevable.
11.
11.1. Le recourant obtient très partiellement gain de cause. Il s'ensuit que le canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu, supportera une part limitée des frais de la procédure fédérale (art. 66 al. 1 et 4 LTF; cf. arrêt 2C_12/2017 du 23 mars 2018 [destiné à la publication] consid. 11), le solde étant à la charge du recourant (<ref-law>).
11.2. Le recourant, qui est représenté par une fiduciaire, obtiendra des dépens réduits (cf. art. 68 al. 1 et 2 LTF; art. 9 du règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral [RS 173.110.210.3]), à charge du canton du Genève. Aucun dépens ne sera alloué à l'autorité intimée (<ref-law>).
La cause est renvoyée à la Cour de justice pour nouvelle décision sur les frais et dépens de la procédure devant elle (cf. art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis.
2.
L'arrêt attaqué est partiellement annulé en ce sens que l'amende pour soustraction d'impôt fédéral direct est annulée pour la période fiscale 2003. Il est confirmé pour le reste.
3.
L'arrêt attaqué est partiellement annulé en ce sens que l'amende pour soustraction d'impôt cantonal et communal de la période fiscale 2003 est annulée. Il est confirmé pour le reste.
4.
Les frais judiciaires, arrêtés à 5'500 fr., sont mis à raison de 800 fr. à la charge du canton de Genève et à raison de 4'700 fr. à la charge du recourant.
5.
Le canton de Genève versera au recourant une indemnité de dépens réduite fixée à 1'000 fr.
6.
La cause est renvoyée à la Cour de justice de la République et canton de Genève pour nouvelle décision sur les frais et dépens de la procédure devant elle.
7.
Le présent arrêt est communiqué aux représentants du recourant, à l'Administration fiscale cantonale genevoise, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, et à l'Administration fédérale des contributions.
Lausanne, le 15 juin 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier