Faits : A. Dame A._ et A._ sont domiciliés à Genève. L'époux est fonctionnaire auprès du Département de l'instruction publique, de la culture et du sport du canton de Genève (ci-après: le Département cantonal) en qualité d'enseignant en géographie, histoire, français et éducation citoyenne à l'école B._. Durant l'année 2010, son taux d'activité était de 80 % pour une charge d'enseignement oscillant entre quatorze et 18 périodes de 45 minutes par semaine. Dans leur déclaration fiscale 2010, les époux A._ ont fait valoir 7'119 fr. de frais professionnels, qui se composaient de cotisations syndicales à raison de 786 fr., de 333 fr. pour l'amortissement sur trois ans d'un ordinateur portable acheté 999 fr. en 2010 et de 6'000 fr. pour l'affectation professionnelle, dans l'appartement familial, d'un bureau destiné à A._ (le loyer total de l'appartement s'élevait à 30'000 fr. par an). B. Par bordereau de taxation du 5 septembre 2010, l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) a fixé l'impôt cantonal et communal (ci-après: l'ICC) 2010 dû par les contribuables à 11'887 fr. 75 sur la base d'un revenu imposable de 92'691 fr., seules des cotisations syndicales, à concurrence de 766 fr. étant admises parmi les déductions pour frais professionnels. Par décision du 2 novembre 2011, l'Administration cantonale a admis partiellement la réclamation formée par les époux A._ et établi un bordereau rectificatif visant l'ICC 2010 à 11'640 fr. 70 sur la base d'un revenu imposable de 91'699 fr. Elle a pris en compte la déduction forfaitaire accordée aux enseignants de 900 fr. ainsi que l'intégralité des cotisations syndicales, mais refusé les frais liés à l'amortissement de l'ordinateur et à l'affectation du bureau. Le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le TAPI) a rejeté, par jugement du 22 janvier 2013, le recours des contribuables, qui persistaient à demander une déduction de 7'119 fr. à titre de frais professionnels. Par arrêt du 10 décembre 2013, la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) a également rejeté le recours formé par les époux A._ contre le jugement du TAPI du 22 janvier 2013. C. Contre cet arrêt, Dame A._ et A._ forment un recours en matière de droit public au Tribunal fédéral. Ils concluent à l'annulation de l'arrêt du 10 décembre 2013 et à ce que la Cour de céans, statuant à nouveau, annule le jugement du TAPI, admette une déduction de 7'119 fr. à titre d'autres frais professionnels effectifs, tout en confirmant la décision sur réclamation de l'Administration cantonale du 2 novembre 2011 relative à l'ICC 2010 pour le surplus. La Cour de Justice n'a pas formulé d'observations, persistant dans les considérants et le dispositif de son arrêt. Au terme de ses déterminations, l'Administration cantonale conclut au rejet du recours. L'Administration fédérale des contributions déclare se rallier au dispositif et aux considérants de l'arrêt attaqué, en se référant également à la prise de position de l'Administration cantonale. Les recourants ont formulé des observations finales postérieurement au délai fixé par le Tribunal fédéral. (Conformément à l'arrêt sur révision 2F_18/2014 du 24 octobre 2014, il est constaté que les observations finales déposées par les recourants l'ont été dans le délai imparti par le Tribunal fédéral).