Faits : A. X._ (ci-après: le contribuable ou le recourant), exerce à titre indépendant la profession d'assureur, sous la raison individuelle "Agence principale A._, X._" (ci-après : l'agence), sise à Genève, dont le but social vise le conseil et la vente de produits d'assurances et financiers de A._ et de ses partenaires financiers. En parallèle, le contribuable était l'associé-gérant de B._ Sàrl jusqu'au 9 mars 2017, qui avait son siège à Zoug et dont le but social était alors l'achat, la vente, l'élevage et l'entraînement de chevaux, en particulier à des fins sportives, ainsi que la promotion des chevaux de sport et services spéciaux dans tous les domaines y relatifs. Le contribuable a été taxé pour les années fiscales 2003 à 2009 par l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale). Il a fait l'objet de taxations ordinaires pour les exercices fiscaux 2003 à 2007 et a été imposé d'office pour la période fiscale 2008, faute d'avoir déposé à temps sa déclaration d'impôt. Il a déposé cette dernière déclaration ultérieurement le 20 septembre 2010 en mentionnant des revenus imposables pour l'impôt fédéral direct (ci-après : IFD) et l'impôt cantonal et communal (ci-après : ICC) supérieurs à ce qu'avait retenu l'Administration fiscale dans la taxation d'office. Ces taxations sont entrées en force. B. Le 8 octobre 2010, l'Administration fiscale a informé le contribuable de l'ouverture d'une procédure en rappel d'impôt et d'une procédure pénale pour soustraction d'impôt à son encontre pour l'IFD et l'ICC des années 2005 à 2007, à la suite d'une communication de l'Administration fédérale des contributions relative à des loyers payés par la société C._ Sàrl qui auraient été encaissés et non déclarés par le contribuable. Lors d'un entretien avec l'Administration fiscale le 26 octobre 2010, le contribuable, pièces à l'appui, a indiqué que des montants avaient été versés par C._ Sàrl à B._ Sàrl dans le cadre d'un sponsoring, que ceux-ci figuraient dans les comptes de cette dernière et avaient été déclarés. Il a ajouté que les représentants de C._ Sàrl avaient travaillé dans les locaux de son agence pour des activités de conseil en assurance, mais ne lui avaient versé aucun loyer, car il n'avait pas le droit de sous-louer ses locaux. Le 16 novembre 2010, l'Administration fiscale a demandé au recourant qu'il produise notamment le détail des commissions et rétrocessions versées par C._ Sàrl, ainsi que les extraits du grand-livre 2005 de l'agence afin de vérifier que cette dernière n'avait plus comptabilisé en 2005 une charge de sponsoring en faveur de B._ Sàrl. Le contribuable a alors précisé ne pas avoir reçu de commissions de la part de C._ Sàrl entre 2005 et 2007, mais avoir comptabilisé un montant de 25'220.30 fr. à ce titre en 2009. Le 23 novembre 2010, l'Administration fiscale a requis du contribuable qu'il lui transmette, entre autres, une copie du grand-livre et de la balance des soldes de toute la comptabilité 2007, de même que le détail du montant de 25'220.30 fr. précité. Dans une réponse reçue par l'Administration fiscale le 1er décembre 2010, le contribuable a produit diverses pièces et dénoncé spontanément des revenus qu'il n'avait pas inclus dans sa comptabilité 2008, mais dans celle de 2009. Le 2 décembre 2010, le contribuable a déposé sa déclaration fiscale 2009. Le 13 décembre 2010, l'Administration fiscale a informé le contribuable que compte tenu des renseignements fournis par ce dernier les 20 septembre et 1er décembre 2010, les procédures ouvertes à son encontre le 8 octobre 2010 étaient étendues à l'IFD et l'ICC 2008. Elle lui demandait aussi de lui remettre notamment le grand-livre de sa comptabilité pour les années 2005 à 2009 avec tous les justificatifs y afférents. En janvier 2011, le contribuable a déposé auprès de l'Administration fiscale vingt classeurs fédéraux comportant l'intégralité des documents requis. Sur nouvelle requête de cette dernière, il lui a également remis diverses pièces comptables concernant les exercices commerciaux de l'agence de 2003 à 2009, en reconnaissant avoir comptabilisé certaines de ses dépenses privées parmi les charges de l'agence. Le 26 mars 2013, l'Administration fiscale l'a informé de l'extension des procédures engagées à son encontre les 8 octobre et 13 décembre 2010 à l'IFD et l'ICC 2003 et 2004, des factures privées ayant été passées en charges dans ses comptabilités commerciales. A cette occasion, elle lui a demandé de produire des pièces comptables des années 2003 et 2004, ainsi que tous les justificatifs concernant la comptabilité de l'agence pour les années 2005 à 2009. Après avoir obtenu une prolongation de délai pour donner suite à cette demande, le contribuable ne s'est plus manifesté. Le 2 juin 2014, l'Administration fiscale a clos la procédure de rappel d'impôts pour les années 2003 à 2007 et a notifié au contribuable des bordereaux en rappel d'impôt IFD et ICC, ainsi que des bordereaux d'amende pour chacune de ces années. Ces derniers étaient motivés par le fait que des frais non justifiés par l'usage commercial, essentiellement à caractère privé, avaient été passés en charges et que des revenus professionnels n'avaient pas été déclarés. La quotité des amendes a été fixée à 75% de l'impôt soustrait, afin de tenir compte de la bonne collaboration du contribuable. Le montant total des suppléments dus au titre de rappel d'impôt s'élevait à 19'430.20 fr. pour l'IFD et à 65'938.25 fr. pour l'ICC et celui des amendes à 14'570 fr. pour l'IFD et à 49'451 fr. pour l'ICC. Les reprises opérées à titre de charges non justifiées par l'usage commercial représentaient 41'532 fr. pour 2003, 40'768 fr. pour 2004, 41'646 fr. pour 2005, 50'466 fr. pour 2006 et 60'325 fr. pour 2007. Le 2 juin 2014 également, l'Administration fiscale a procédé au rappel d'impôt IFD et ICC 2008 pour un montant de 11'376.20 fr., respectivement 38'740 fr., celui des reprises effectuées s'élevant à 69'697 fr. Aucune amende n'était prononcée pour la période fiscale 2008, les conditions de la dénonciation spontanée non punissable étant remplies. Par bordereau du 11 juin 2014, l'Administration fiscale a taxé le contribuable pour l'année 2009 en ajoutant au revenu imposable un montant de 56'063 fr. au titre de charges non justifiées par l'usage commercial. Pour cette années, le montant dû à titre d'IFD s'élevait à 15'977.75 fr. et à 52'244.05 fr. pour l'ICC. Le 19 juin 2015, l'Administration fiscale a admis partiellement les réclamations formées par le contribuable, en rectifiant les précédentes décisions de taxation pour les années 2003 à 2009 et en maintenant la quotité des amendes, dont les montants étaient arrêtés sur la base des taxations rectifiées. Le montant total des impôts dus pour la période 2003 à 2009 s'élevait à 59'861.40 fr. pour l'IFD (soit un dégrèvement de 8'688.90 fr.) et à 234'730.80 fr. pour l'ICC (soit un dégrèvement de 2'542.20 fr.); celui des amendes pour les années 2003 à 2007 à 13'952 fr. pour l'IFD et 47'797 fr. pour l'ICC. Par jugement du 19 septembre 2016, le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) a rejeté le recours interjeté par le contribuable contre les décisions sur réclamations précitées du 19 juin 2015. Par arrêt du 4 juillet 2017, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours du contribuable. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens: "a) d'annuler l'arrêt de la Cour de justice du 4 juillet 2017; b) de reconnaître que les conditions matérielles des art. 59 LPFisc et 151 LIFD n'étaient pas réunies pour l'ouverture d'une procédure en rappel et soustraction d'impôts; c) subsidiairement dans l'hypothèse d'une reconnaissance de validité de la procédure, de reconnaître l'arbitraire commis par l'administration en refusant le bien-fondé des preuves fournies par le contribuable en vue de la justification de frais professionnels bien réels". La Cour de justice persiste dans les considérants et le dispositif de son arrêt. Dans sa réponse, l'Administration fiscale conclut au rejet du recours. L'Administration fédérale des contributions conclut au rejet du recours dans la mesure où il est recevable et se rallie à l'arrêt attaqué de même qu'au mémoire de réponse de l'Administration fiscale.