Sachverhalt:
Sachverhalt:
A. Die Eheleute X. und Y.Z._ übernahmen am 1. November 1992 vom Vater der Ehefrau ein Sportgeschäft und einen separaten Landwirtschaftsbetrieb. Das in der Rechtsform einer Kollektivgesellschaft betriebene Sportgeschäft wird von der Ehefrau geführt, während der Ehemann den Landwirtschaftsbetrieb bewirtschaftet und im Übrigen im Sportgeschäft mitarbeitet. Während das Sportgeschäft Gewinne abwirft, resultierten aus dem Landwirtschaftsbetrieb bis heute stets Verluste.
A. Die Eheleute X. und Y.Z._ übernahmen am 1. November 1992 vom Vater der Ehefrau ein Sportgeschäft und einen separaten Landwirtschaftsbetrieb. Das in der Rechtsform einer Kollektivgesellschaft betriebene Sportgeschäft wird von der Ehefrau geführt, während der Ehemann den Landwirtschaftsbetrieb bewirtschaftet und im Übrigen im Sportgeschäft mitarbeitet. Während das Sportgeschäft Gewinne abwirft, resultierten aus dem Landwirtschaftsbetrieb bis heute stets Verluste.
B. In ihrer Steuererklärung 1999/2000 deklarierten die Eheleute Z._ für die Bemessungsjahre 1997/1998 Einnahmen aus dem Sportgeschäft von durchschnittlich Fr. 374'066.--. Davon zogen sie einen durchschnittlichen Verlust aus dem Landwirtschaftsbetrieb von Fr. 39'998.-- ab. Die Veranlagungsbehörde liess diesen Abzug nicht zu mit der Begründung, es handle sich beim Landwirtschaftsbetrieb um eine Liebhaberei, die ohne Absicht auf Gewinnerzielung getätigt werde. Gegen die entsprechende Einspracheverfügung vom 22. Januar 2001 erhoben die Steuerpflichtigen sowohl bezüglich der Staats- und Gemeindesteuern als auch der direkten Bundessteuern Rekurs bzw. Beschwerde an die Steuerrekurskommission des Kantons Bern. Mit Entscheid vom 9. Dezember 2003 wies diese die Rechtsmittel ab.
B. In ihrer Steuererklärung 1999/2000 deklarierten die Eheleute Z._ für die Bemessungsjahre 1997/1998 Einnahmen aus dem Sportgeschäft von durchschnittlich Fr. 374'066.--. Davon zogen sie einen durchschnittlichen Verlust aus dem Landwirtschaftsbetrieb von Fr. 39'998.-- ab. Die Veranlagungsbehörde liess diesen Abzug nicht zu mit der Begründung, es handle sich beim Landwirtschaftsbetrieb um eine Liebhaberei, die ohne Absicht auf Gewinnerzielung getätigt werde. Gegen die entsprechende Einspracheverfügung vom 22. Januar 2001 erhoben die Steuerpflichtigen sowohl bezüglich der Staats- und Gemeindesteuern als auch der direkten Bundessteuern Rekurs bzw. Beschwerde an die Steuerrekurskommission des Kantons Bern. Mit Entscheid vom 9. Dezember 2003 wies diese die Rechtsmittel ab.
C. Gegen den Entscheid der Steuerrekurskommission haben X. und Y.Z._, soweit die direkte Bundessteuer betreffend, beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragen, den Entscheid der Steuerrekurskommission aufzuheben, den von X.Z._ geführten Landwirtschaftsbetrieb als selbständige Erwerbstätigkeit anzuerkennen und die in der Veranlagungsperiode 1999/2000 (Bemessungsperiode 1997/1998) geltend gemachten Verluste von durchschnittlich Fr. 39'998.-- zum Abzug zuzulassen.
Die Steuerrekurskommission und die Steuerverwaltung des Kantons Bern beantragen die Abweisung der Beschwerde. Den gleichen Antrag stellt die Eidgenössische Steuerverwaltung.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Gemäss Art. 27 Abs. 1 und Abs. 2 lit. b DBG werden zur Ermittlung des Reineinkommens bei selbständiger Erwerbstätigkeit die geschäfts- oder berufsmässig begründeten Kosten abgezogen, insbesondere die eingetretenen und verbuchten Verluste auf Geschäftsvermögen. Der Abzug setzt voraus, dass die Verluste im Zusammenhang mit einer selbständigen Erwerbstätigkeit des Steuerpflichtigen angefallen sind. Verluste beim Privatvermögen sind demgegenüber steuerlich nicht abzugsfähig (vgl. Peter Locher, Kommentar zum DBG, Therwil/Basel 2001, N. 49, 51 ff. zu Art. 27). Zu prüfen ist somit, ob der Betrieb des landwirtschaftlichen Gewerbes als selbständige Erwerbstätigkeit (im Sinne von <ref-law>) zu qualifizieren ist.
1.2 Unter den Begriff der selbständigen Erwerbstätigkeit fällt allgemein jede Tätigkeit, bei der ein Unternehmer auf eigenes Risiko, unter Einsatz von Arbeit und Kapital, in einer frei gewählten Organisation und mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt (<ref-ruling> E. 5b S. 120 f., mit Hinweisen; <ref-ruling> E. 9 S. 170 ff.).
1.3 An der Absicht der Gewinnerzielung fehlt es namentlich dann, wenn eine Tätigkeit aus blosser Liebhaberei betrieben wird, was namentlich im Bereich der Tierhaltung nicht selten vorkommt (vgl. die Beispiele bei Peter Locher , a.a.O., N. 22 ff. zu Art. 18; ferner BGE <ref-ruling> E. 9b S. 171). Wer die Landwirtschaft hobbymässig betreibt, kann deshalb die damit verbundenen Verluste nicht abziehen. Allerdings reicht eine selbst mehrjährige Verlusterzielung für sich allein noch nicht dafür aus, dass eine Tätigkeit als Liebhaberei zu qualifizieren ist (Höhn/Waldburger, Steuerrecht, Bd. I, 9. Aufl. Bern 2001, N. 5 zu § 14). Bringt eine Tätigkeit aber auf die Dauer nichts ein, stellt dies ein deutliches Indiz dafür dar, dass es an der Gewinnerzielungsabsicht fehlt. Wird eine üblicherweise erwerbliche Tätigkeit auf lange Sicht ohne Erzielung eines Gewinns ausgeübt, so lässt das Ausbleiben des finanziellen Erfolgs regelmässig auf das Fehlen erwerblicher Zielsetzung schliessen, denn wer wirklich eine Erwerbstätigkeit ausübt, wird sich in der Regel nach längeren beruflichen Misserfolgen von der Zwecklosigkeit seines Unterfangens überzeugen lassen und die betreffende Tätigkeit aufgeben (BGE <ref-ruling> E. 9c S. 171 f.; nicht veröffentlichte Urteile 2A.68/2001 vom 11. Juli 2001, E. 4b/cc, und 2A.281/1991 vom 2. Oktober 1992, E. 2b; Richner/Frei/ Kaufmann, Handkommentar zum DBG, N. 40 zu Art. 18). Führt er diese dennoch weiter, muss angenommen werden, es seien dafür andere Motive als der Erwerbszweck massgebend.
1.3 An der Absicht der Gewinnerzielung fehlt es namentlich dann, wenn eine Tätigkeit aus blosser Liebhaberei betrieben wird, was namentlich im Bereich der Tierhaltung nicht selten vorkommt (vgl. die Beispiele bei Peter Locher , a.a.O., N. 22 ff. zu Art. 18; ferner BGE <ref-ruling> E. 9b S. 171). Wer die Landwirtschaft hobbymässig betreibt, kann deshalb die damit verbundenen Verluste nicht abziehen. Allerdings reicht eine selbst mehrjährige Verlusterzielung für sich allein noch nicht dafür aus, dass eine Tätigkeit als Liebhaberei zu qualifizieren ist (Höhn/Waldburger, Steuerrecht, Bd. I, 9. Aufl. Bern 2001, N. 5 zu § 14). Bringt eine Tätigkeit aber auf die Dauer nichts ein, stellt dies ein deutliches Indiz dafür dar, dass es an der Gewinnerzielungsabsicht fehlt. Wird eine üblicherweise erwerbliche Tätigkeit auf lange Sicht ohne Erzielung eines Gewinns ausgeübt, so lässt das Ausbleiben des finanziellen Erfolgs regelmässig auf das Fehlen erwerblicher Zielsetzung schliessen, denn wer wirklich eine Erwerbstätigkeit ausübt, wird sich in der Regel nach längeren beruflichen Misserfolgen von der Zwecklosigkeit seines Unterfangens überzeugen lassen und die betreffende Tätigkeit aufgeben (BGE <ref-ruling> E. 9c S. 171 f.; nicht veröffentlichte Urteile 2A.68/2001 vom 11. Juli 2001, E. 4b/cc, und 2A.281/1991 vom 2. Oktober 1992, E. 2b; Richner/Frei/ Kaufmann, Handkommentar zum DBG, N. 40 zu Art. 18). Führt er diese dennoch weiter, muss angenommen werden, es seien dafür andere Motive als der Erwerbszweck massgebend.
2. 2.1 Nach den Ausführungen in der Beschwerde bewirtschaftet der Beschwerdeführer in seinem Landwirtschaftsbetrieb eine Fläche von 13-14 Hektaren. Zum Betrieb gehören Bergschaftsrechte sowie drei eigene Alphütten und Vorsassen. Der Beschwerdeführer beschäftigt einen ganztägig angestellten Mitarbeiter mit einem Jahresbruttolohn von rund Fr. 42'000.--. Sein eigenes Arbeitspensum in der Landwirtschaft beträgt im Winter ca. 25 %, während des Rests des Jahres ca. 80 %. Im Betrieb werden 20-25 Stück Vieh gehalten und neben einer entsprechenden Milchmenge jährlich ca. 2'000 kg Alpkäse produziert. Der Jahresumsatz beläuft sich auf ca. Fr. 70'000.--.
2.2 Es ist den Beschwerdeführern zuzugestehen, dass ein solcher Betrieb objektiv betrachtet durchaus als Basis für eine rentable Erwerbsquelle geeignet ist. Insofern lässt er sich nicht mit einem eigentlichen Hobby-Betrieb vergleichen, der schon von seiner Beschaffenheit her zum Vornherein nicht gewinnbringend geführt werden kann. Es kann dem Beschwerdeführer auch nicht vorgeworfen werden, er führe den Landwirtschaftsbetrieb nicht nach betriebswirtschaftlichen Grundsätzen. Indessen hat der Beschwerdeführer seit der Übernahme des Betriebs dennoch stets Verluste erwirtschaftet (1993 Fr. 1'547.--, 1994 Fr. 8'927.--, 1995 Fr. 27'100.--, 1996 Fr. 27'725.--, 1997 Fr. 41'444.-, 1998 Fr. 37'552.--). Angesichts dieser Entwicklung drängt sich die Annahme auf, dass der Betrieb in seiner gegenwärtigen Form gar nicht gewinnbringend bewirtschaftet werden kann. Die Beschwerdeführer bestreiten das nicht, machen aber geltend, dass die Verluste einzig darauf zurückzuführen seien, dass sie keinen Anspruch auf landwirtschaftliche Direktzahlungen hätten, weil das Einkommen aus dem Sportgeschäft den gemäss der Landwirtschaftsgesetzgebung massgebenden Grenzwert übersteige; ohne dieses zusätzliche Einkommen hätten sie Direktzahlungen in der Höhe von jährlich Fr. 40'000.--- bis Fr. 50'000.-- erhalten (vgl. dazu Art. 10 der in der streitigen Periode noch in Kraft stehenden bundesrätlichen Verordnung vom 26. April 1993 über ergänzende Direktzahlungen in der Landwirtschaft, AS 1993 S. 1574 ff.; heute Art. 22 der Verordnung vom 7. Dezember 1998 über die Direktzahlungen an die Landwirtschaft [Direktzahlungsverordnung, DZV; SR 910.13]). Das ändert aber nichts daran, dass der Landwirtschaftsbetrieb für die Beschwerdeführer eine dauernde Verlustquelle darstellt. Wenn sie ihn dennoch weiterführen, kann dafür nicht die Absicht der Gewinnerzielung massgebend sein. Fehlt es aber am Erfordernis der Gewinnstrebigkeit, können die Verluste aus dem Landwirtschaftsbetrieb nicht abgezogen werden.
2.2 Es ist den Beschwerdeführern zuzugestehen, dass ein solcher Betrieb objektiv betrachtet durchaus als Basis für eine rentable Erwerbsquelle geeignet ist. Insofern lässt er sich nicht mit einem eigentlichen Hobby-Betrieb vergleichen, der schon von seiner Beschaffenheit her zum Vornherein nicht gewinnbringend geführt werden kann. Es kann dem Beschwerdeführer auch nicht vorgeworfen werden, er führe den Landwirtschaftsbetrieb nicht nach betriebswirtschaftlichen Grundsätzen. Indessen hat der Beschwerdeführer seit der Übernahme des Betriebs dennoch stets Verluste erwirtschaftet (1993 Fr. 1'547.--, 1994 Fr. 8'927.--, 1995 Fr. 27'100.--, 1996 Fr. 27'725.--, 1997 Fr. 41'444.-, 1998 Fr. 37'552.--). Angesichts dieser Entwicklung drängt sich die Annahme auf, dass der Betrieb in seiner gegenwärtigen Form gar nicht gewinnbringend bewirtschaftet werden kann. Die Beschwerdeführer bestreiten das nicht, machen aber geltend, dass die Verluste einzig darauf zurückzuführen seien, dass sie keinen Anspruch auf landwirtschaftliche Direktzahlungen hätten, weil das Einkommen aus dem Sportgeschäft den gemäss der Landwirtschaftsgesetzgebung massgebenden Grenzwert übersteige; ohne dieses zusätzliche Einkommen hätten sie Direktzahlungen in der Höhe von jährlich Fr. 40'000.--- bis Fr. 50'000.-- erhalten (vgl. dazu Art. 10 der in der streitigen Periode noch in Kraft stehenden bundesrätlichen Verordnung vom 26. April 1993 über ergänzende Direktzahlungen in der Landwirtschaft, AS 1993 S. 1574 ff.; heute Art. 22 der Verordnung vom 7. Dezember 1998 über die Direktzahlungen an die Landwirtschaft [Direktzahlungsverordnung, DZV; SR 910.13]). Das ändert aber nichts daran, dass der Landwirtschaftsbetrieb für die Beschwerdeführer eine dauernde Verlustquelle darstellt. Wenn sie ihn dennoch weiterführen, kann dafür nicht die Absicht der Gewinnerzielung massgebend sein. Fehlt es aber am Erfordernis der Gewinnstrebigkeit, können die Verluste aus dem Landwirtschaftsbetrieb nicht abgezogen werden.
3. Was die Beschwerdeführer dagegen vorbringen, kann zu keinem anderen Ergebnis führen:
3.1 Dass an der Erhaltung von Landwirtschaftsbetrieben wie demjenigen des Beschwerdeführers grundsätzlich ein öffentliches Interesse besteht und dieser nur aus subjektiven Gründen die entsprechenden Direktzahlungen nicht erhält, ist für die Frage, ob der Betrieb im Hinblick auf die Erzielung eines Erwerbseinkommens geführt wird, nicht relevant. Zu den Rahmenbedingungen, unter denen ein Landwirtschaftsbetrieb geführt wird, gehören nicht nur die tatsächlichen, sondern auch die rechtlichen Voraussetzungen, wie namentlich allfällige Subventionsansprüche. Ob ein Betrieb deswegen nicht gewinnbringend geführt werden kann, weil die äusseren Bedingungen ungünstig sind, oder allein deswegen, weil aus irgendeinem Grund keine Subventionen erhältlich gemacht werden können, läuft unter dem Gesichtspunkt des Erwerbszweckes auf dasselbe hinaus.
3.2 Die Beschwerdeführer sind der Auffassung, sie hätten ihr Gesamteinkommen aus zwei selbständigen Erwerbstätigkeiten durch ihre betriebswirtschaftlichen Entscheidungen maximalisiert. Würde der Beschwerdeführer seine Arbeitskraft nämlich ausschliesslich in der Landwirtschaft einsetzen, könnte er zwar weitgehend auf seinen Mitarbeiter verzichten und damit einen Grossteil der entsprechenden Lohnkosten einsparen. Allerdings müsste in diesem Fall zur Kompensation eine zusätzliche Arbeitskraft im Sportgeschäft angestellt werden, für die aber ein höherer Lohn bezahlt werden müsste, so dass sich das Gesamteinkommen der beiden Beschwerdeführer mit Sicherheit markant verringern würde. Diese - übrigens rein hypothetische - Überlegung ändert indessen nichts daran, dass das Gesamteinkommen der Beschwerdeführer bei einem völligen Verzicht auf den Landwirtschaftsbetrieb bedeutend höher wäre, als dies bei der heutigen, angeblich vorteilhaften Betriebsführung der Fall ist, weshalb sich dessen Aufrechterhaltung rein wirtschaftlich gesehen nicht rechtfertigt. Die beiden Betriebe der Beschwerdeführer sind auch nicht aufeinander angewiesen. Selbst wenn es zutreffen sollte, dass ein Teil des im Landwirtschaftsbetrieb produzierten Alpkäses im Sportgeschäft am Jahresende als Präsent an Stammkunden verschenkt und seit 2001 dort auch direkt Alpkäse verkauft wird, wie die Beschwerdeführer neu behaupten, verhält es sich offensichtlich nicht so, dass der Erfolg des Sportgeschäfts durch die Kombination mit dem unrentablen Landwirtschaftsbetrieb wesentlich gesteigert wird. Ob der Beschwerdeführer den Betrieb aus blosser Liebhaberei, im Andenken an den verstorbenen Schwiegervater oder aus irgendwelchen anderen, nicht ökonomischen Gründen weiterführt, ist im Übrigen ohne Belang.
3.3 Die Beschwerdeführer machen ferner geltend, dass das Ergebnis des Landwirtschaftsbetriebs auch dadurch verbessert werden könnte, dass dem Betrieb ein "Ertrag für Personalvermietung" bzw. ein "kalkulatorischer Lohn" in jenem Umfang gutgeschrieben würde, in dem der Beschwerdeführer nicht für die Landwirtschaft tätig sei; im Gegenzug wäre dem Sportgeschäft ein entsprechender Personalaufwand zu belasten. Ob ein solcher buchhalterischer Kunstgriff von den Steuerbehörden anerkannt werden müsste, ist fraglich, kann aber dahingestellt bleiben, da die Beschwerdeführer in der streitigen Periode keine solchen Buchungen vorgenommen haben.
3.3 Die Beschwerdeführer machen ferner geltend, dass das Ergebnis des Landwirtschaftsbetriebs auch dadurch verbessert werden könnte, dass dem Betrieb ein "Ertrag für Personalvermietung" bzw. ein "kalkulatorischer Lohn" in jenem Umfang gutgeschrieben würde, in dem der Beschwerdeführer nicht für die Landwirtschaft tätig sei; im Gegenzug wäre dem Sportgeschäft ein entsprechender Personalaufwand zu belasten. Ob ein solcher buchhalterischer Kunstgriff von den Steuerbehörden anerkannt werden müsste, ist fraglich, kann aber dahingestellt bleiben, da die Beschwerdeführer in der streitigen Periode keine solchen Buchungen vorgenommen haben.
4. Die Beschwerde erweist sich somit als unbegründet.
Dem Ausgang des Verfahrens entsprechend sind die Kosten den Beschwerdeführern aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Steuerverwaltung und der Steuerrekurskommission des Kantons Bern sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 4. Juni 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts:
Der Präsident: Die Gerichtsschreiberin: