Faits: A. Dans leur déclaration d'impôt pour la période fiscale 2005, les époux A.X._ et B.X._ ont demandé, au plan de la fortune, la déduction de dettes privées à concurrence de 4'434'764 fr. Ce montant comprenait notamment une somme de 2'517'735 fr. correspondant à six actes de défaut de biens après saisie délivrés à l'encontre de B.X._ pour la période allant du 5 septembre 1995 au 14 mars 2001. La fortune imposable déclarée était ainsi négative, à hauteur de 2'230'410 fr. Les actes de défaut de biens étaient les suivants: Date Créancier Montant 05.09.95 Banque S._ 78'871.05 16.07.96 Banque T._ 107'993.24 06.08.96 Banque S._ 372'200.00 16.07.96 Caisse de pension C._ 6'241.25 15.01.99 Banque T._ 1'502'429.70 14.03.01 Banque T._ 450'000.00 2'517'735.24 B. Par décision de taxation du 19 juin 2008, confirmée sur réclamation le 20 février 2009, le Service cantonal des contributions du canton de Fribourg (ci-après: le Service cantonal des contributions) a refusé la déduction des dettes ayant fait l'objet des actes de défaut de biens précités. La fortune imposable des époux X._ a été arrêtée à 194'179 fr. et l'impôt dû à ce titre à 485 fr. 25. Saisie d'un recours contre la décision sur réclamation du Service cantonal des contributions, la Cour fiscale du Tribunal cantonal du canton de Fribourg (ci-après : le Tribunal cantonal) l'a rejeté par arrêt du 7 mai 2010. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler le ch. II (relatif à l'impôt cantonal sur la fortune) du dispositif de l'arrêt du Tribunal cantonal du 7 mai 2010, d'admettre un montant de 2'517'735 fr. 24 en déduction de leur fortune pour la période fiscale 2005 et d'inviter l'autorité fiscale cantonale à corriger leur taxation dans ce sens. Ils dénoncent une violation des art. 13 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) et 60 de la loi fribourgeoise du 6 juin 2000 sur les impôts cantonaux directs (LICD; RS/FR 631.1). Ils requièrent en outre que le recours soit muni de l'effet suspensif. Le Service cantonal des contributions, le Tribunal cantonal et l'Administration fédérale des contributions concluent au rejet du recours. Par ordonnance du 1er juillet 2010, le Président de la IIème Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif. Le 11 mars 2011, la Cour de céans a délibéré sur le présent recours en séance publique.