Faits:
Faits:
A.a Les époux B.X._ et A.X._ sont domiciliés à C._. B.X._ exerce la profession d'architecte.
B.X._ a travaillé pour le compte de la société anonyme D._ SA, sise à E._, inscrite au registre du commerce le *** 1986, qu'il avait fondée avec deux associés. La faillite de cette société a été prononcée le *** 1994.
Par la suite, B.X._ est devenu le gérant de la société à responsabilité limitée F._ Sàrl. Sise à C._ et inscrite au registre du commerce le *** 1993, cette société a pour but "tous travaux d'architecture".
Par la suite, B.X._ est devenu le gérant de la société à responsabilité limitée F._ Sàrl. Sise à C._ et inscrite au registre du commerce le *** 1993, cette société a pour but "tous travaux d'architecture".
A.b Parallèlement à son activité d'architecte, B.X._ a pratiqué le commerce professionnel d'immeubles. Sa faillite personnelle a été prononcée le *** 1994. La vente du dernier immeuble réalisée dans le cadre de la liquidation de la faillite s'est soldée, en 2001, par une perte commerciale de 778'187 fr. 05 venue s'ajouter aux pertes des exercices antérieurs selon le détail suivant:
Exercices
Vaud
Fribourg
Tessin
Total
93/94
-36'717
-58'245
-57'953
-152'915
-330'857
-204'582
-1'884
-537'323
95
-16'666
0
-1'230'643
-1'247'309
96
-483'384
-1'012'616
-228'997
-1'724'997
97
-1'362'033
-248'099
-1'610'132
98
99
2000
2001
-778'187
-778'187
Total
-2'229'657
-1'523'542
-2'297'664
-6'050'863
Le 23 décembre 2002, l'administration spéciale de la faillite de B.X._ a délivré à la banque créancière des actes de défaut de biens pour un montant total de 6'353'551 fr. 70.
Jusqu'à la période fiscale 2003 inclusivement, les époux X._ ont obtenu la compensation des pertes commerciales avec leurs revenus imposables. L'avis de taxation de la période fiscale 2003 indiquait toutefois qu'aucune perte ne pourrait être reportée en diminution du revenu de la période fiscale 2004.
Dans leur déclaration d'impôt pour la période 2004, les époux X._ ont indiqué une perte commerciale de 2'695'747 fr. sous la rubrique "revenu d'une activité indépendante".
B. Dans sa taxation du 17 novembre 2005, le Service cantonal des contributions du canton de Fribourg a refusé de porter en déduction la perte commerciale. L'impôt fédéral direct dû par les époux X._ a été fixé à 5'373 fr. sur la base d'un revenu imposable de 132'327 fr., leur impôt cantonal sur le revenu à 13'648 fr. 10 pour un revenu imposable global de 133'947 fr. et leur impôt cantonal sur la fortune à 1'063 fr. 15, pour une fortune imposable de 405'460 fr.
Les époux X._ ont contesté cette taxation, en concluant à ce que la perte commerciale soit admise en déduction et leur revenu imposable fixé à 0 fr. Leur réclamation a été rejetée par décision du 17 avril 2007. Saisi d'un recours contre cette décision, le Tribunal cantonal fribourgeois l'a rejeté par arrêt du 12 décembre 2008. Cette autorité a constaté que le recourant n'était plus commerçant d'immeubles depuis la clôture de sa faillite personnelle en 2000 ou au plus tard depuis la vente forcée de son dernier immeuble en 2001. Laissée ouverte par la jurisprudence, la question de savoir si le report de pertes demeurait possible, lorsque toute activité indépendante avait cessé, était controversée en doctrine. Les juges cantonaux ont estimé qu'un tel report n'était pas admissible. Etablissant une exception au principe de périodicité, la règle du report de pertes devait être interprétée de manière restrictive. Etendre sa portée à des situations où le contribuable avait cessé toute activité indépendante reviendrait à appliquer le principe du "Totalgewinn" à une autre catégorie de sujets fiscaux que les entreprises, alors que ce principe ne saurait par définition s'appliquer qu'aux entreprises. En outre, dans le cas particulier, il serait choquant que les recourants puissent totalement supprimer leur charge fiscale par le jeu du report de pertes, alors qu'au terme de la procédure de faillite le recourant laissait un découvert de plusieurs millions de francs. Les juges ont adopté ce raisonnement tant pour l'impôt fédéral direct que pour l'impôt cantonal.
C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler le jugement du 12 décembre 2008 et, principalement, de fixer à 0 fr. le revenu imposable de la période fiscale 2004 tant pour l'impôt fédéral direct que pour l'impôt cantonal, les pertes commerciales des exercices 1997 à 2003 étant admises en déduction; à titre subsidiaire, ils concluent à ce que le dossier soit renvoyé à l'autorité précédente pour nouvelle décision dans le sens des considérants.
L'autorité précédente, le Service cantonal des contributions et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, proposent de rejeter le recours dans la mesure de sa recevabilité.
Le 27 novembre 2009, la Cour de céans a délibéré sur le présent recours en séance publique.

Considérant en droit:
1. La décision entreprise distingue, dans son dispositif et sa motivation, entre l'impôt fédéral direct et l'impôt cantonal. Les recourants ont interjeté un seul recours, qui contient toutefois des conclusions et une motivation propres à chaque impôt. Leur acte est donc conforme aux exigences posées par la jurisprudence (cf. <ref-ruling> consid. 8.3 p. 511 s., précisé par l'<ref-ruling> consid. 1.3 p. 262 ss).
Au surplus, interjeté par les parties directement touchées par la décision et qui ont un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF), le recours, dirigé contre une décision rendue dans une cause de droit public (cf. art. 82 lettre a LTF) en dernière instance cantonale par un tribunal supérieur (cf. art. 86 al. 1 lettre d et al. 2 LTF), est en principe recevable, puisqu'il a été déposé en temps utile (art. 100 LTF) et en la forme prévue par la loi (art. 42 LTF) et qu'aucune des exceptions énumérées à l'art. 83 LTF n'est réalisée (s'agissant par ailleurs de la portée de l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] en relation avec la loi sur le Tribunal fédéral, cf. <ref-ruling> consid. 1.3 p. 189).
I. Impôt fédéral direct
2. 2.1 L'impôt sur le revenu des personnes physiques a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (art. 16 al. 1 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11]). Sont notamment imposables le produit de l'activité lucrative dépendante et celui de l'activité lucrative indépendante (art. 17 et 18 LIFD). Selon l'art. 25 LIFD, le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés aux art. 26 à 33. Faisant partie de la Section 3 "Activité lucrative indépendante" et intitulé "Déduction des pertes", l'art. 31 LIFD dispose que les pertes subies durant les trois périodes de calcul précédentes peuvent être déduites du revenu moyen de la période de calcul au sens de l'art. 43 LIFD - qui est basé sur le mode de taxation praenumerando bisannuel -, à condition qu'elles n'aient pas pu être prises en considération lors du calcul du revenu imposable des années précédentes (al. 1). Dans le système d'imposition des personnes physiques postnumerando annuel - qui fait l'objet des art. 208 ss LIFD -, la disposition correspondante est l'art. 211 LIFD, selon lequel les pertes des sept exercices précédant la période fiscale peuvent être déduites, à condition qu'elles n'aient pas été prises en considération lors du calcul du revenu imposable de ces années (selon les textes allemand et italien de l'art. 211 LIFD, il faut qu'elles n'aient pas pu être prises en compte et non seulement qu'elles ne l'aient pas été, comme l'indique la version française). Il ressort aussi bien de la place de l'art. 31 LIFD dans la loi que de l'usage du terme "exercices" aux art. 31 et 211 LIFD que seules les pertes provenant d'une activité lucrative indépendante peuvent être reportées. Cette faculté doit permettre de compenser les fluctuations des profits et pertes durant la période de report, en tenant compte du fait que les résultats des exercices pris individuellement ont un aspect aléatoire (cf. arrêt 2C_101/2008 du 18 juin 2008 consid. 2.2.1, RDAF 2008 II p. 505 et les références). Les pertes peuvent être compensées non seulement avec le revenu de l'activité indépendante, mais aussi avec d'autres revenus. En cas de taxation commune (art. 9 LIFD), la déduction peut aussi être opérée sur les revenus de l'époux ou du partenaire enregistré (arrêt 2C_101/2008, précité, consid. 2.1 et les références). La période de report - de respectivement six et sept ans selon les art. 31 al. 1 et 211 LIFD - s'approche de la durée d'un cycle économique, la période de calcul d'une année ou de deux ans apparaissant trop courte à cet égard.
2.2 La règle du report de pertes constitue une entorse au principe de périodicité, selon lequel l'impôt dû par une entreprise pour une période fiscale donnée se calcule sur la base du bénéfice réalisé durant cette période. Le principe de périodicité découle de la nécessité, pour les collectivités publiques, de disposer de rentrées fiscales régulières (Brülisauer/Poltera, in Kommentar zum Schweizerischen Steuerrecht I/2a, Bundesgesetz über die direkte Bundessteuer, 2e éd., 2008, no 43 ad art. 58 LIFD). Il se trouve en opposition avec un autre principe développé par la doctrine récente, celui de l'imposition du bénéfice total (Totalgewinn). Selon ce dernier, idéalement, une entreprise devrait être imposée une seule fois sur le bénéfice total qu'elle génère durant toute son existence, dans l'idée que seul ce bénéfice est représentatif de sa capacité contributive (cf. Jean-Marc Rivier, Droit fiscal suisse, L'imposition du revenu et de la fortune, 2e éd., 1998, p. 361). En raison du besoin des collectivités de disposer de ressources fiscales régulières, ce principe ne peut toutefois être pleinement mis en oeuvre et se trouve limité par celui de périodicité. Les auteurs qui postulent le principe de l'imposition du bénéfice total sont cependant d'avis qu'en tant qu'émanation du principe de l'imposition selon la capacité contributive - lui-même ancré à l'art. 127 al. 2 Cst. -, le concept du "Totalgewinn" devrait l'emporter sur celui de périodicité et revêtir une importance particulière dans l'interprétation des normes de droit fiscal (cf. Brülisauer/Poltera, op. cit., no 44 ad art. 58 LIFD; Pierre-Marie Glauser, Apports et impôt sur le bénéfice, 2005, p. 18 s. et les références). Dans la mesure où il déroge au principe de périodicité, le report de pertes limité des art. 31 al. 1 et 211 LIFD va dans le sens du concept de l'imposition du bénéfice total (cf. Duss/Greter/von Ah, Die Besteuerung Selbständigerwerbender, 2004, p. 97 s.).
2.3 Dans l'arrêt précité 2C_101/2008, le Tribunal fédéral avait à juger le cas d'un contribuable qui avait exercé une activité de commerçant professionnel d'immeubles sous la forme d'une entreprise individuelle. Après avoir subi des pertes importantes, il avait cessé cette activité en 2001, année durant laquelle le dernier immeuble avait été vendu. Il avait par la suite poursuivi une activité indépendante, dans le cadre d'une société en commandite constituée avec son épouse, en fournissant des services, en particulier des estimations de bâtiments et des conseils dans le domaine immobilier. Entre 2001 et 2006, les associés avaient réalisé un chiffre d'affaires annuel compris entre 2'000 et 3'800 fr. et un bénéfice par conséquent très peu important. S'agissant de l'impôt fédéral direct de la période fiscale 2002, le Tribunal fédéral a estimé que les pertes provenant de l'activité antérieure de commerçant d'immeubles pouvaient être déduites des revenus des époux contribuables. La déduction des pertes en vertu de l'art. 211 LIFD supposait en effet l'exercice d'une activité indépendante. Tel était bien le cas en l'espèce, puisqu'il ne s'agissait ni d'un hobby, ni d'une activité sporadique exercée en dehors de rapports de travail - activité caractérisée par une absence de planification. En outre, les circonstances du cas particulier ne faisaient pas apparaître d'abus de droit. Après avoir exposé les opinions divergentes de la doctrine, le Tribunal fédéral a laissé ouverte la question de savoir si les pertes auraient pu être déduites aussi dans le cas où toute activité indépendante aurait cessé (consid. 3.4). C'est ce point qu'il convient de trancher en l'espèce, dès lors qu'il ressort des faits de la cause que lors de la période fiscale litigieuse le recourant avait abandonné son activité de commerçant d'immeubles; en outre, aucun élément ne permet d'admettre que les recourants exerçaient alors une autre activité indépendante.
2.4 Les auteurs qui admettent le report de pertes en dépit de la cessation de l'activité indépendante se prévalent de la lettre de la loi, qui prévoit la compensation de manière générale et ne l'exclut pas expressément dans cette situation (Madeleine Simonek, Unternehmenssteuerrecht, Entwicklungen 2007, 2008 [cité: Entwicklungen 2007], p. 102 s.; idem, Unternehmenssteuerrecht, Entwicklungen 2008, 2009 [cité: Entwicklungen 2008], p. 81; Dieter Weber, in Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, 2e éd., 2002, no 5 ad art. 67 LHID; Philip Funk, in Kommentar zum Aargauer Steuergesetz, 3e éd., 2009, no 5 ad § 38; cf. aussi Reich/Züger, in Kommentar zum Schweizerischen Steuerrecht I/2a, op. cit., no 10 ad art. 211 LIFD, qui semblent toutefois plus partagés sur la question). D'un point de vue téléologique, ces auteurs se réfèrent au principe de l'imposition du bénéfice total (Totalgewinn) et à celui de l'imposition selon la capacité contributive, auquel il est lié (cf. Funk et Weber, loc. cit.; Simonek, Entwicklungen 2007, op. cit., p. 103; idem, Entwicklungen 2008, op. cit., p. 81). Ils font en outre valoir que, dans le mode de taxation praenumerando, le refus du report de pertes après la cessation de l'activité indépendante était souvent justifié par la taxation intermédiaire qui intervenait au terme de cette activité (cf. art. 45 lettre b LIFD); or, ce motif disparaît dans le système postnumerando, qui ne connaît plus l'institution de la taxation intermédiaire (Weber, loc. cit.; Richner/Frei/Kaufmann, Handkommentar zum DBG, 2003, n. 10 ad art. 211 LIFD; Ryser/Rolli, Précis de droit fiscal suisse, 4e éd., 2002, p. 233).
2.5 Les auteurs pour lesquels l'abandon de l'activité lucrative indépendante exclut la compensation des pertes avec des revenus acquis lors des périodes fiscales ultérieures font valoir que, d'un point de vue systématique, l'art. 31 LIFD - qui constitue le pendant de l'art. 211 LIFD pour le mode de taxation praenumerando - fait partie des dispositions consacrées à l'activité lucrative indépendante; elles supposeraient donc l'exercice d'une telle activité (Agner/Digeronimo/Neuhaus/Steinmann, Kommentar zum Gesetz über die direkte Bundessteuer, Ergänzungsband, 2000, no 2 ad art. 211 LIFD; cf. aussi Behnisch/Cadosch, Gesetz über die direkte Bundessteuer, Kommentar, 2004, ad art. 31 al. 1 LIFD; Roger Cadosch, Bundesgesetz über die direkte Bundessteuer, Kommentar, 2e éd., 2008, ad art. 31 al. 1 LIFD). D'un point de vue téléologique, ces auteurs relèvent que les règles figurant aux art. 31 et 211 LIFD doivent permettre à un indépendant - et seulement à celui-ci - de compenser les fluctuations des profits et pertes durant la période de report (cf. Reich/Züger, in Kommentar zum Schweizerischen Steuerrecht I/2a, Bundesgesetz über die direkte Bundessteuer, 1ère éd., 2000, no 10 ad art. 211 LIFD; Peter B. Nefzger, Kommentar zum Steuergesetz des Kantons Basel-Landschaft, 2004, no 11 ad § 89). Certains auteurs relativisent en outre la portée du principe de l'imposition selon la capacité contributive dans ce contexte: si le législateur a fait primer ce principe sur celui de périodicité en instituant un report de pertes limité aux art. 31 et 211 LIFD, il ne l'a pas fait dans d'autres situations caractérisées par un excédent de charges, comme par exemple lorsque le rendement d'un immeuble est inférieur aux charges (Reich/Züger, op. cit., 1ère éd., no 10 ad art. 211 LIFD; cf. aussi extrait du Luzerner Steuerbuch, in RF 9/2005 p. 714 s., pt 1.1.1 et 1.1.2).
3. 3.1 Les recourants se plaignent d'une violation de l'art. 211 LIFD. Ils reprennent à leur compte l'argument tiré de la disparition de la taxation intermédiaire, en faisant valoir que si le législateur avait voulu exclure, dans le système postnumerando, le report des pertes en cas de cessation de l'activité indépendante, il aurait dû le prévoir expressément.
3.2 D'un point de vue littéral, l'art. 211 LIFD, comme l'art. 31 al. 1 LIFD qui constitue son pendant pour le mode de taxation praenumerando, pose comme unique condition à la déductibilité des pertes que celles-ci n'aient pas pu être prises en considération lors du calcul du revenu imposable des années précédentes. Le texte légal ne pose aucune exigence en ce qui concerne la période fiscale en cause. En particulier, il n'exige pas que l'activité indépendante se poursuive.
L'art. 31 LIFD fait partie des dispositions régissant la détermination du revenu net de l'activité lucrative indépendante (art. 27 à 31 LIFD en relation avec l'art. 25 LIFD). Selon la systématique de la loi, pour que cette norme - de même que l'art. 211 LIFD dans le système postnumerando - soit applicable, il faut donc que le contribuable exerce une telle activité et soit ainsi soumis à ces dispositions lors de la période fiscale concernée. Le fait que les pertes peuvent être déduites non seulement du revenu de l'activité indépendante, mais aussi des autres revenus, y compris de ceux du conjoint (cf. consid. 2.1 ci-dessus) n'y change rien.
Dans le but d'interpréter les art. 31 al. 1 et 211 LIFD de manière conforme à la Constitution (cf. à cet égard <ref-ruling> consid. 2.3 p. 163; <ref-ruling> consid. 3.5 p. 567), il y a lieu de tenir compte en particulier du principe de l'imposition selon la capacité contributive, ancré à l'art. 127 al. 2 Cst. Dans sa mise en oeuvre, ce principe peut être associé à celui de l'imposition du bénéfice total (Totalgewinn) ou à celui de périodicité. Dans le premier cas, la capacité contributive doit être mesurée sur une période aussi longue que possible, correspondant idéalement à toute la durée de l'exercice d'une activité indépendante, voire à toute l'existence du contribuable. Envisagé de la sorte, le principe de l'imposition selon la capacité contributive commande d'autoriser le report de pertes de la manière la plus large. En revanche, s'il est associé au principe de périodicité, ce principe constitutionnel veut que l'on mesure la capacité contributive lors de la période fiscale - plus exactement durant la période de calcul, qui se confond avec la période fiscale dans le système postnumerando - et que le contribuable soit imposé sur cette base. Dans cette perspective limitée à la période fiscale, le principe en question n'impose pas une interprétation large des dispositions y relatives.
3.3 Le principe de périodicité repose sur la théorie de l'accroissement net du patrimoine (Tipke/Lang, Steuerrecht, 19e éd., 2008, p. 241 n. 7), selon laquelle le revenu acquis par un contribuable se compose de tout accroissement de son patrimoine constaté au cours d'une période déterminée. Cette définition du revenu joue un rôle central en droit fiscal suisse (arrêt 2P.233/2002 du 27 janvier 2003 consid. 3.2, StE 2003 B 21.1 no 11; Ryser/Rolli, op. cit., p. 154; Xavier Oberson, Droit fiscal suisse, 3e éd., 2007, § 7 no 4), notamment pour l'imposition des entreprises astreintes à tenir une comptabilité (arrêt A.392/1985 du 20 juin 1986 consid. 1c, Archives 56 p. 61, StE 1987 B 21.1 no 1, RDAF 1989 p. 56; <ref-ruling> consid. 2b p. 2). L'importance de la théorie de l'accroissement net du patrimoine s'explique précisément par le fait que le revenu doit servir de mesure de la capacité contributive (Blumenstein/Locher, System des schweizerischen Steuerrechts, 6e éd., p. 171).
En droit suisse, le principe de périodicité est ancré dans la loi (cf., pour l'imposition des personnes morales, art. 79 LIFD en relation avec l'art. 58 LIFD; art. 63 s. LHID; Brülisauer/Poltera, op. cit., no 43 ad art. 58 LIFD). Il est ainsi un principe de droit matériel et non seulement une règle de nature technique servant à la perception de l'impôt (cf., pour le droit allemand, Paul Kirchhof, in Einkommensteuergesetz - Kommentar, no 136 ad § 2; Idem, in EStG KompaktKommentar, 8e éd., 2008, no 17 ad § 2). Au vu de son importance, il doit être pris en compte, de préférence au principe de l'imposition du bénéfice total, lors de la mise en oeuvre du principe de l'imposition selon la capacité contributive. Il s'ensuit que ce dernier n'impose pas une interprétation large des dispositions sur le report des pertes. Au contraire, compte tenu de l'importance du principe de périodicité, les dispositions qui y dérogent, telles que les art. 31 et 211 LIFD, doivent être interprétées de manière plutôt restrictive.
Les considérations qui précèdent valent pour le mode de taxation postnumerando (art. 211 LIFD), comme pour le système praenumerando (art. 31 al. 1 LIFD). On ne peut donc soutenir que l'exclusion du report des pertes en cas de cessation de l'activité indépendante ait été justifiée seulement par la taxation intermédiaire. Dès lors, on ne peut davantage prétendre, comme le font les recourants, que le législateur aurait dû expressément prévoir cette conséquence dans le système postnumerando, qui ne connaît pas la taxation intermédiaire.
Au vu de ce qui précède et notamment au regard de la systématique de la loi, il convient d'interpréter l'art. 211 LIFD en ce sens que le report de pertes n'est possible qu'aussi longtemps que le contribuable exerce une activité lucrative indépendante.
3.4 Ainsi, à compter de la période fiscale suivant celle durant laquelle l'activité indépendante a été abandonnée, le contribuable ne peut plus bénéficier du report de pertes, étant précisé qu'une telle activité est censée prendre fin au terme de la dernière opération de liquidation (Markus Reich, in Kommentar zum Schweizerischen Steuerrecht I/2a, op. cit., no 39 ad art. 18 LIFD; Duss/Greter/von Ah, op. cit., p. 20). L'arrêt 2C_101/2008 a précisé que le report demeure possible si le contribuable exerce une autre activité indépendante (consid. 3.3). Il en découle que le report de pertes est en principe lié à la personne du contribuable exerçant une activité indépendante (dans ce sens extrait du Luzerner Steuerbuch, op. cit., p. 715 pt 1.1.3); il dépend généralement du statut d'indépendant, et non de l'entreprise éventuellement exploitée (la notion d'activité lucrative indépendante au sens de l'art. 18 al. 1 LIFD étant plus large que celle d'entreprise: <ref-ruling> consid. 5b p. 121). Le contribuable qui, ayant cessé une activité indépendante, en commence ou en poursuit une autre, peut donc bénéficier du report. La règle en question ne suppose en conséquence pas la continuité dans l'exercice de cette activité ou dans l'exploitation de l'entreprise, à la différence du principe de l'imposition du bénéfice total, lequel envisage une seule et même entreprise (cf. Duss/Greter/von Ah, op. cit., p. 100). Ce dernier principe obéit par conséquent à une autre logique. Pour ce motif également, il ne saurait être invoqué par un contribuable qui cesse d'exercer toute activité indépendante, aux fins de pouvoir néanmoins compenser les pertes non prises en considération avec les revenus réalisés lors des périodes fiscales ultérieures.
La règle selon laquelle le report de pertes est lié à la personne du contribuable exerçant une activité indépendante connaît une exception dans le cas où une entreprise individuelle ou une entreprise exploitée sous la forme d'une société de personnes est transférée à une personne morale aux conditions de l'art. 19 al. 1 lettre b LIFD. Dans cette situation, en effet, l'Administration fédérale des contributions considère que la personne morale reprenante bénéficie du report des pertes de l'entreprise qui n'ont pas pu être prises en compte fiscalement. Justifiée par le principe de la neutralité fiscale au plan de l'entreprise, qui sous-tend la loi fédérale du 3 octobre 2003 sur la fusion, la scission, la transformation et le transfert de patrimoine (loi sur la fusion; LFus; RS 221.301; entrée en vigueur le 1er juillet 2004), cette pratique vaut pour les restructurations opérées après l'entrée en vigueur de la loi en question (circulaire no 5 du 1er juin 2004 sur les restructurations, disponible sur Internet à l'adresse «http://www.estv.admin.ch/bundessteuer/dokumentation/00242/00380/index.html?lang=fr» [consulté le 29 juin 2009], p. 25 ch. 3.2.3.3). Dans un tel cas, le report de pertes est lié à l'entreprise transférée (cf. Ettlin/Stüdle, Umstrukturierungen bei Personengesellschaften, in L'Expert-comptable suisse 2009, p. 329 ss, 334) et non au statut d'indépendant: le report de pertes reste possible, alors que le contribuable qui, par hypothèse, est désormais employé par la personne morale à laquelle il a transféré son entreprise individuelle a perdu ce statut. Cette situation n'est cependant pas réalisée en l'espèce, l'activité de commerçant professionnel d'immeubles exercée par le recourant ayant pris fin au plus tard au terme de la procédure de faillite personnelle de celui-ci.
4. 4.1 Selon les recourants, il n'y a rien de "choquant" à ce qu'ils puissent bénéficier du report de pertes, alors que la faillite personnelle de B.X._ s'est soldée par un découvert de plusieurs millions. Il serait en effet "dans le cours normal des choses" que les entreprises qui peuvent se prévaloir d'un report de pertes risquent de laisser un découvert. Les recourants font d'ailleurs valoir que le Service cantonal des contributions a admis le report de pertes pour les années 1997 à 2003, alors que cette situation était déjà connue.
4.2 Le cas d'espèce a ceci de particulier que le recourant a mis un terme à son activité indépendante dans le cadre d'une procédure d'exécution forcée, par voie de faillite. Au terme de la liquidation, l'administration spéciale a remis à la banque créancière des actes de défaut de biens pour un montant total de plus de 6 millions de francs. Les actes de défaut de biens ne permettent de requérir une nouvelle poursuite qu'à la condition que le débiteur soit revenu à meilleure fortune (cf. art. 265 al. 2 LP). Pour le moment, il n'apparaît donc pas que les recourants aient dû supporter les pertes en question (d'un montant de 2'695'747 fr. selon leur déclaration d'impôt pour la période 2004), de sorte que leur capacité contributive n'en a pas été affectée. Dans ces conditions, l'on peut se demander s'il n'est pas abusif qu'ils puissent reporter ces montants et les compenser avec des revenus acquis ultérieurement (c'est ainsi que le canton de Lucerne exclut le report des pertes dans la mesure où le contribuable tombé en faillite laisse un découvert [cf. extrait du Luzerner Steuerbuch, op. cit., p. 721 pt 1.3.4]). Il n'est pas nécessaire de trancher la question, du moment que le report est exclu déjà pour le motif que le recourant n'exerce plus d'activité lucrative indépendante.
5. 5.1 Les recourants se plaignent d'une violation du principe d'égalité. Selon eux, il serait discriminatoire de leur refuser le report de pertes alors que celui-ci a été admis dans l'affaire ayant donné lieu à l'arrêt 2C_101/2008 et dans un cas jugé par l'autorité précédente où un professionnel de l'immobilier n'avait réalisé aucune opération ni aucun revenu durant sept ans, mais avait conservé un immeuble commercial (arrêt du Tribunal administratif fribourgeois 4F 05 28 et 29 du 5 mai 2006, avec référence à l'<ref-ruling>). De l'avis des recourants, il n'y a aucune raison de régler différemment des situations aussi proches. Il existerait des différences bien plus importantes parmi les contribuables exerçant une activité indépendante, par exemple entre ceux qui réalisent des revenus considérables et ceux dont le chiffre d'affaires est infime voire inexistant.
5.2 Une décision viole le principe de l'égalité de traitement lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou lorsqu'elle omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et ce qui est dissemblable ne l'est pas de manière différente. Il faut que le traitement différent ou semblable injustifié se rapporte à une situation de fait importante (<ref-ruling> consid. 3.1 p. 260; <ref-ruling> consid. 9.1 p. 42; <ref-ruling> consid. 3.4.2 p. 114).
5.3 Le cas des recourants se distingue de ceux qui ont fait l'objet des jurisprudences précitées par le fait que B.X._ n'exerçait plus d'activité indépendante lors de la période fiscale litigieuse. Dans l'affaire 2C_101/2008, le contribuable avait en revanche poursuivi une activité indépendante dans le cadre d'une société de personnes constituée avec son épouse. Dans la cause fribourgeoise 4F 05 28 et 29, telle que mentionnée dans la décision entreprise (consid. 3b p. 6 s.), le contribuable avait conservé un immeuble faisant partie de sa fortune commerciale, ce qui impliquait que son activité indépendante n'avait pas encore pris fin (cf. <ref-ruling> consid. 6 p. 124 ss). Au demeurant, cette affaire cantonale n'est pas déterminante, dès lors que le Tribunal fédéral n'a pas à se fonder sur des précédents dont il n'a pas eu à connaître (cf. <ref-ruling> consid. 4.3 p. 34). Quoi qu'il en soit, le report de pertes étant lié au statut d'indépendant, la différence de traitement avec les recourants est justifiée.
II. Impôt cantonal
6. Conformément à l'art. 67 al. 1 LHID, l'art. 32 al. 1 de la loi fribourgeoise du 6 juin 2000 sur les impôts cantonaux directs (LICD; RS/FR 631.1) prévoit que les pertes des sept exercices précédant la période fiscale peuvent être déduites, à condition qu'elles n'aient pas pu être prises en considération lors du calcul du revenu imposable de ces années. La teneur de cette disposition est semblable à celle de l'art. 211 LIFD. Par conséquent, les considérations émises ci-dessus pour l'impôt fédéral direct valent également pour l'impôt cantonal.
III. Frais et dépens
7. Au vu de ce qui précède, le recours doit être rejeté.
Les recourants, qui succombent, doivent supporter les frais judiciaires, solidairement entre eux (cf. art. 66 al. 1 et 5 LTF) et n'ont pas droit à des dépens (cf. art. 68 al. 1 LTF a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Des frais judiciaires de 2'500 fr. sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, au Service cantonal des contributions et à la Cour fiscale du Tribunal cantonal du canton de Fribourg, ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct.
Lausanne, le 27 novembre 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Vianin