Faits : A. B.X._ et A.X._ sont domiciliés dans le canton de Genève. B.X._, qui exerce une activité indépendante de physiothérapeute, est seule héritière de feu son père, décédé le 5 novembre 2005, la veuve de celui-ci ayant répudié la succession. Le défunt exploitait un cabinet d'architecte et était actif dans le domaine immobilier. Pour les périodes fiscales 2002 à 2005, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) a taxé le défunt sur un revenu nul en raison des pertes subies dans son activité indépendante (pertes de 150'332 fr. en 2002, de 507'501 fr. en 2003, de 231'411 fr. en 2004 et de 330'702 fr. en 2005). A la suite du décès de son père, B.X._ a poursuivi l'activité indépendante de ce dernier dès l'année 2006 en reprenant ses comptes commerciaux. Dans leurs déclarations fiscales 2006 à 2008, les époux X._ ont fait valoir en déduction de leurs revenus les pertes subies par le père de l'intéressée. L'Administration fiscale a refusé de prendre en considération ce report de pertes, mais a tenu compte des actifs et passifs de la succession dans la détermination de la fortune imposable du couple. Elle a rejeté les réclamations élevées par les intéressés, faute d'intérêt actuel, leurs revenus imposables pour ces années étant nuls, même sans prendre en compte les pertes de l'activité du défunt. Pour l'année fiscale 2009, l'Administration fiscale, sur réclamation, a ramené le revenu imposable des époux à 0 fr., admettant la déduction des pertes commerciales des exercices 2006 à 2008 de l'activité indépendante de l'intéressée. Ce montant de revenu imposable a été confirmé sur recours par le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) le 31 mars 2014. Celui-ci a toutefois annulé les tableaux de report de pertes annexés aux décisions sur réclamation. Pour l'année fiscale 2010, les époux X._ ont déclaré le revenu issu de l'activité indépendante de physiothérapeute de l'intéressée et de celle du bureau d'architecte repris en 2006, cette dernière activité faisant en particulier état d'une perte commerciale de 5'211 fr. pour l'exercice 2010 et de pertes reportées de 1'633'070 francs. Pour l'exercice 2011, les époux intéressés ont notamment déclaré des pertes non compensées de 519'569 fr. provenant de l'activité d'architecte. B. Par quatre bordereaux du 27 août 2014, l'Administration fiscale a taxé les contribuables pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) des années 2010 et 2011. Elle a admis les pertes reportées pour un montant de 97'483 fr. correspondant aux pertes subies par B.X._, mais a refusé le report des pertes subies par feu le père de celle-ci. Les pertes admises ayant été absorbées par les revenus de l'exercice 2010, aucun report n'a été admis pour l'exercice 2011. L'Administration fiscale a rejeté les réclamations formées par les contribuables, confirmant ses quatre décisions et l'impossibilité de reporter des pertes provenant d'une succession. Les contribuables ont contesté les quatre décisions sur réclamation les 27 et 31 mars 2015 auprès du Tribunal administratif de première instance en demandant en particulier que l'ensemble des pertes du défunt héritées par sa fille soit pris en compte. Par jugement du 18 avril 2016, le Tribunal administratif de première instance a rejeté le recours quant à la possibilité de déduire B.X._ des pertes subies par le défunt. Il l'a admis sur d'autres points qui n'ont plus été contestés par la suite. Le 30 mai 2016, les époux X._ ont interjeté un recours auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) contre ce jugement. Par arrêt du 10 octobre 2017, la Cour de justice a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, B.X._ et A.X._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 10 octobre 2017 et de prendre en compte les pertes héritées de feu le père de B.X._ dans la détermination de leur revenu imposable, aussi bien pour l'IFD que pour l'ICC des années 2010 et 2011. Ils se plaignent de violation du droit fédéral. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale conclut au rejet du recours. L'Administration fédérale des contributions se rallie au dispositif et aux considérants de l'arrêt entrepris.