Faits : A. A.a. Le 4 mars 2005, C.Y._ et ses enfants B.X._, D.Y._ et Z._, ont acquis en propriété commune (indivision de famille) l'ensemble des parts de copropriété d'un immeuble soumis au régime de la propriété par étages, situé à la rue E._ à Genève, pour un montant de 8'500'000 fr. En 2008, cet immeuble a fait l'objet d'importants travaux d'aménagement, pour une valeur d'environ 6'600'000 fr. Dans les déclarations fiscales de B.X._ et de son mari, A.X._, une quote-part de 25 % de l'immeuble précité était mentionnée depuis l'acquisition de celui-ci. Par acte notarié des 29 juin et 9 août 2010, C.Y._ a fait donation irrévocable à ses trois enfants, à concurrence d'un tiers chacun, de tous ses droits relatifs à l'immeuble situé à la rue E._ à Genève. Dans le même acte, les parts de copropriété ont été attribuées aux intéressés selon une nouvelle clef de répartition, d'après laquelle B.X._ est devenue propriétaire de 440,3 o/oo des parts. Le 10 août 2010, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale) a adressé au notaire qui avait établi l'acte précité un avis de taxation pour les droits d'enregistrement relatifs aux opérations mentionnées dans celui-ci. La valeur de l'immeuble prise en compte pour la taxation était de 15'525'000 fr. Cet avis n'a pas été contesté. A.b. Le 4 octobre 2011, les époux X._ ont remis à l'Administration cantonale leur déclaration fiscale 2010. Dans celle-ci, l'immeuble situé à la rue E._ à Genève était mentionné pour un montant de 3'742'550 fr. sous la rubrique "capital selon estimation fiscale" et de 3'592'848 fr. "après abattement de 4 %". B. B.a. Le 7 août 2014, l'Administration cantonale a établi le bordereau de taxation pour les impôts cantonal et communal (ci-après: ICC) 2010 de B.X._ et A.X._. Ledit bordereau faisait état dans la fortune immobilière des contribuables d'un montant de 7'800'614 fr. relatif à l'immeuble précité. Le 22 août 2014, B.X._ et A.X._ ont formé réclamation contre le bordereau de taxation ICC 2010 du 7 août 2014. Ils demandaient notamment que la valeur fiscale de la part de B.X._ de l'immeuble situé à la rue E._ à Genève soit fixée à 4'788'542 fr. Par décision sur réclamation du 4 décembre 2014, l'Administration cantonale a maintenu inchangé le bordereau querellé. Le 5 janvier 2015, les intéressés ont recouru contre cette décision devant le Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI). Par jugement du 12 novembre 2015, le TAPI a admis partiellement le recours, a fixé à 6'835'500 fr. la valeur fiscale de la part de l'immeuble litigieux appartenant à B.X._ et a renvoyé le dossier à l'Administration cantonale pour nouvelle taxation dans le sens des considérants. B.b. Le 16 décembre 2015, B.X._ et A.X._ ont formé recours contre le jugement du TAPI auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice), en concluant à ce qu'il soit dit que la valeur fiscale relative à la part de B.X._ de l'immeuble situé à la rue E._ à Genève soit fixée à 4'788'542 fr. Par arrêt du 2 août 2017, la Cour de justice a déclaré le recours irrecevable. Les juges cantonaux ont retenu, en substance, que les contribuables n'avaient conclu ni à l'annulation du jugement entrepris, ni à sa réforme, mais qu'ils s'étaient limités à former des conclusions constatatoires, de sorte qu'il n'était pas possible d'entrer en matière sur le recours. C. Agissant par la voie du recours en matière de droit public, B.X._ et A.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 2 août 2017, de dire que le recours déposé le 16 décembre 2015 était recevable et de renvoyer la cause à l'autorité précédente pour qu'elle statue sur le fond. L'Administration cantonale formule des observations et conclut au rejet du recours. La Cour de justice persiste dans les considérants et le dispositif de son arrêt.