Faits : A. Les époux B.X._ et A.X._ (ci-après: les contribuables) sont domiciliés à U._ depuis 2003. Jusqu'en 2002, B.X._ a été le directeur financier de la société D._ LTD (ci-après: D._), sise à T._ et active dans le négoce international de produits dérivés du pétrole et de la pétrochimie. Selon le registre du commerce de U._, les contribuables ont fondé la société E._ Sàrl, qui a pour but de détenir des participations dans des entreprises commerciales, engagées notamment dans des activités de gestion de fortune et de services aux entreprises, ainsi que toutes les opérations financières, administratives ou toutes autres activités y relatives. En 2008, E._ Sàrl est devenue une société holding administrée par B.X._ et constituée de deux sociétés anonymes créées par celui-ci à U._ en 2007. B.X._ a par ailleurs créé, le 28 mars 2003, à F._ (RoyaumeUni), un "partnership" avec G._ Limited, afin de continuer sa collaboration avec D._ en tant qu'indépendant. Dénommé H._ LP et détenu à 90% par B.X._, ce "partnership" poursuivait des activités d'établissement de lignes de crédit bancaire en faveur de sociétés de négoce et l'optimisation de structures de sociétés. Dans leurs déclarations fiscales 2008 à 2011, les contribuables ont notamment indiqué que B.X._ disposait d'un établissement stable à F._, soit un bureau où il se rendait régulièrement pour exercer son activité indépendante. De ce fait, les revenus et la fortune commerciale de H._ LP n'étaient selon eux pas imposables en Suisse et ne devaient être retenus que pour le taux d'imposition. B. Par bordereaux des 19 et 20 novembre 2013, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale cantonale) a notifié aux contribuables les décisions de taxation pour les impôts cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) des périodes fiscales 2008 à 2011. Elle a notamment retenu que les bénéfices et fonds propres de H._ LP étaient imposables en Suisse. Les contribuables ont contesté les bordereaux par réclamations du 18 décembre 2013, qui ont été rejetées par décisions du 20 février 2015. Contre les décisions sur réclamation, les contribuables ont formé un recours auprès du Tribunal administratif de première instance de la République et canton de Genève, qui l'a rejeté par jugement du 19 septembre 2016. Par arrêt du 12 décembre 2017, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours des contribuables contre ce jugement. C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 12 décembre 2017, de constater que B.X._ a correctement reporté dans ses déclarations fiscales IFD et ICC pour les périodes fiscales 2008 à 2011 le profit net résultant de son activité indépendante réalisée par l'entremise de H._ LP et la fortune commerciale y attachée comme non imposables en Suisse et de renvoyer le dossier à la Cour de justice pour qu'elle renvoie le cause à l'Administration fiscale cantonale, afin que celle-ci effectue une nouvelle taxation pour les années 2008 à 2011 pour les ICC et l'IFD. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants, ainsi que le dispositif de son arrêt. L'Administration fiscale cantonale conclut au rejet du recours. L'Administration fédérale des contributions se rallie au dispositif et aux considérants de l'arrêt entrepris, de même qu'aux observations de l'Administration fiscale cantonale. Les recourants ont déposé des observations, en persistant dans leurs conclusions.