Faits : A. A.a. X._, ressortissant suisse né en 1967, a quitté Genève pour le Kenya le 1er avril 1989. En juillet 1995, il a créé la société X._ Services Sàrl, dont le siège est à Y._ (GE). X._ est l'unique associé de X._ Services Sàrl. La société est actuellement en liquidation. Entre 1995 et 2007, X._ Services Sàrl a versé des montants à X._ à titre de salaire. Etant donné que l'intéressé résidait au Kenya, ceux-ci ont été soumis à l'impôt à la source. A.b. Le 15 décembre 2005, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale) a informé X._ de l'ouverture d'une procédure en rappel d'impôt et en soustraction d'impôt à son encontre concernant l'impôt fédéral direct (ci-après: IFD) 1995 à 2004 et les impôts cantonal et communal (ci-après: ICC) 2000 à 2004. L'intéressé était invité à remplir, signer et retourner à l'Administration cantonale ses déclarations fiscales 1993 à 2004 avant le 13 janvier 2006 (cf. art. 105 al. 2 LTF). Le 26 janvier 2006, le contribuable a retourné à l'Administration cantonale les déclarations fiscales en question, qu'il n'avait pas remplies, considérant n'être pas domicilié à Genève. A.c. Par décision du 29 septembre 2008, confirmée en dernière instance par le Tribunal fédéral le 12 mai 2015 (cause 2C_924/2014), l'Administration cantonale a fixé le domicile fiscal de X._ à Genève à partir du 1er janvier 2001. A.d. Le 22 juillet 2009, l'Administration cantonale a notifié à X._ un bordereau de taxation d'office pour l'IFD et l'ICC 2008. Le 14 août 2009, le contribuable a formé réclamation contre ce bordereau. La suite de cette procédure est inconnue. A.e. Le 8 juillet 2015, faisant suite à l'arrêt du Tribunal fédéral du 12 mai 2015 précité, l'Administration cantonale a informé X._ que, en complément à la lettre du 15 décembre 2005 (cf. supra let. A.b), elle avait décidé d'ouvrir à son encontre une procédure en rappel d'impôt et en soustraction d'impôt concernant l'IFD et l'ICC 2005 à 2008. Le contribuable était invité à transmettre à l'Administration cantonale ses déclarations fiscales 2000 à 2008. Le 30 octobre 2015, X._ a remis à cette autorité ses déclarations d'impôt 2005 à 2008. Le 5 février 2016, il a déposé ses déclarations fiscales pour les années 2000 à 2004. B. B.a. Le 29 février 2016, l'Administration cantonale a notifié à X._, tant pour l'IFD que l'ICC, des bordereaux de taxation et des bordereaux d'amende pour tentative de soustraction d'impôt (années 2001 à 2004), ainsi que des bordereaux de rappel d'impôt et des bordereaux d'amende pour soustraction d'impôt (années 2005 à 2008). Cette autorité a retenu que, en dissimulant son domicile fiscal a Genève, le contribuable n'avait pas été imposé sur sa réelle capacité contributive et qu'il en résultait ainsi une soustraction d'impôt intentionnelle. L'Administration cantonale a arrêté la quotité de l'amende pour tentative de soustraction d'impôt aux deux tiers des montants d'impôt que X._ avait tenté de soustraire pour les années 2001 à 2003 et au montant de l'impôt pour l'année 2004. S'agissant de la soustraction d'impôt consommée (années 2005 à 2008), l'amende correspondait au montant de l'impôt soustrait. Le 31 mars 2016, X._ a formé réclamation contre le bordereau de rappel d'impôt du 29 février 2016 relatif à l'ICC 2005, demandant sa modification (cf. art. 105 al. 2 LTF), ainsi que contre les bordereaux d'amende (IFD et ICC) 2001 à 2008 du 29 février 2016, concluant à leur annulation. Il n'a pas contesté les autres bordereaux établis le 29 février 2016. Par décisions sur réclamation du 23 septembre 2016, l'Administration cantonale a modifié la taxation ICC 2005 du contribuable en tenant compte des remarques de celui-ci et a maintenu la quotité de l'amende y relative, le montant de celle-ci étant toutefois calculé sur la base de la nouvelle taxation. L'autorité fiscale a également rectifié une erreur dans les bordereaux d'amende IFD et ICC 2004, arrêtant la quotité de l'amende aux deux tiers des montants d'impôt que X._ avait tenté de soustraire, comme pour les années 2001 à 2003 (cf. art. 105 al. 2 LTF). Pour le surplus, elle a maintenu inchangés les autres bordereaux d'amende querellés et a relevé que les bordereaux de taxation 2001 à 2004 et les bordereaux de rappel d'impôt 2006 à 2008 n'avaient pas été contestés, s'agissant tant de l'IFD que de l'ICC, de sorte qu'ils étaient entrés en force. B.b. Le 25 octobre 2016, X._ a recouru contre les décisions sur réclamation du 23 septembre 2016 devant le Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI). Le 2 octobre 2017, après avoir implicitement joint les causes, le TAPI a admis le recours. Cette autorité a notamment considéré que le contribuable, qui avait refusé de remplir ses déclarations fiscales car il contestait son assujettissement en Suisse, n'avait pas adopté un comportement illicite. B.c. Le 10 novembre 2017, l'Administration cantonale a interjeté recours contre le jugement du TAPI auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice), en concluant à son annulation et à la confirmation des décisions sur réclamation du 23 septembre 2016, sous réserve de celles relatives à l'année fiscale 2005, qui devaient être annulées pour cause de prescription. Par arrêt du 10 avril 2018, la Cour de justice a admis le recours et annulé le jugement entrepris, ainsi que les bordereaux d'amende ICC et IFD 2005. Pour le reste, elle a confirmé les décisions sur réclamation du 23 septembre 2016. L'autorité précédente a considéré, en substance, que l'action pénale n'était prescrite pour aucune des années fiscales en cause (hormis 2005), que les conditions objectives et subjectives des infractions reprochées au contribuable (soustraction fiscale et tentative de soustraction fiscale) étaient réunies et que la procédure menée par l'Administration cantonale n'était affectée d'aucun vice de forme. C. A l'encontre de l'arrêt du 10 avril 2018, X._ dépose un recours en matière de droit public auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens que les bordereaux d'amende 2001 à 2004 et 2006 à 2008 sont annulés. Subsidiairement, le contribuable requiert le renvoi de la cause à la Cour de justice ou à l'Administration cantonale "pour complément éventuel et nouvelle décision dans le sens des considérants". Plus subsidiairement encore, il demande à la Cour de céans de réformer l'arrêt entrepris et de "réduire la quotité des amendes ICC et IFD infligées pour les années 2001 à 2004 et 2006 à 2008". La Cour de justice renonce à déposer une réponse et persiste dans les considérants et le dispositif de son arrêt. L'Administration cantonale formule des observations et conclut au rejet du recours. L'Administration fédérale des contributions se rallie à l'arrêt attaqué et propose le rejet du recours.