Faits: A. Les époux B._ et A._ sont domiciliés dans le canton de Genève. A._ est propriétaire de l'entier du capital-actions (100 actions d'une valeur nominale de 1'000 fr.) et l'unique administrateur de la société C._ SA (ci-après: la Société), qui a pour but l'organisation de voyages tels que des croisières et des arrangements à forfait. La Société emploie plusieurs collaborateurs qualifiés, dont son actionnaire. B. Dans leur déclaration d'impôt pour la période fiscale 2006, les époux A._ et B._ ont reporté les actions de la Société pour une valeur de 1'000 fr. l'action, soit pour leur valeur nominale. Dans le bordereau d'impôt cantonal et communal (ci-après: ICC) 2006 du 31 octobre 2007, l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) a fixé la valeur de l'action de la Société à 19'653 francs. Le 20 novembre 2007, les époux A._ et B._ ont contesté cette estimation par la voie de la réclamation, soutenant que les actions de la Société devaient être estimées sur la base de leur valeur intrinsèque. A cette occasion, ils se sont également opposés à la perception d'un montant de 357 fr. 80 réclamé par l'Administration fiscale au titre d'intérêts financiers. L'Administration fiscale a rejeté la réclamation par décision sur réclamation du 12 juin 2008, en indiquant que l'estimation des actions de la Société avait été effectuée sur la base de la valeur de rendement et de la valeur intrinsèque, conformément aux instructions concernant l'estimation des titres non cotés en vue de l'impôt sur la fortune éditées par la Conférence des fonctionnaires fiscaux d'Etat et l'Administration fédérale des contributions et que, par ailleurs, la perception d'intérêts financiers était prévue par la loi et donc justifiée. Le 14 juillet 2008, les époux A._ et B._ ont recouru contre la décision sur réclamation du 12 juin 2008 auprès de la Commission cantonale genevoise de recours en matière d'impôts, remplacée depuis le 1 er janvier 2011 par le Tribunal administratif de première instance du canton de Genève. Le recours a été rejeté par jugement du 4 avril 2011. Le 5 mai 2011, B._ et A._ ont recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice genevoise (ci-après: la Cour de justice), qui l'a rejeté le 14 mai 2013. C. Agissant par la voie du recours en matière de droit public, B._ et A._ demandent au Tribunal fédéral, sous suite de dépens, d'annuler la décision de la Cour de justice du 14 mai 2013, de constater que l'estimation de la valeur de l'action de la Société à 19'633 fr. est contraire aux dispositions légales, notamment à l'art. 14 al. 1 LHID, et d'inviter le Département des finances à émettre un nouveau bordereau ICC 2006 qui soit conforme à celles-ci. Ils ne contestent en revanche plus la perception d'intérêts financiers devant le Tri-bunal fédéral. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale conclut au rejet du recours, de même que l'Administration fédérale des contributions.