Sachverhalt: Sachverhalt: A. A.X._ (dipl. Steuerexperte) machte sich Anfang 1993 als Steuerberater selbständig und gründete diverse Unternehmen, namentlich die Einzelfirma "S._", Zürich, und die Y._ GmbH, D._ (SZ). In der Steuererklärung 1997/98 deklarierten er und seine Ehefrau B.X._ ein Einkommen aus unselbständiger Erwerbstätigkeit (betreffend Y._ GmbH: Fr. 131'476.-- bzw. Fr. 138'668.--) und Verluste aus selbständiger Erwerbstätigkeit von Fr. 336'537.-- bzw. Fr. 291'355.--, womit kein steuerbares Einkommen resultierte. Dies ergab sich auch für die Steuererklärung 1999/2000, worin das Einkommen aus unselbständiger Erwerbstätigkeit (je Fr. 130'000.--) auch mit einem Liegenschaftsverlust von je Fr. 100'000.-- verrechnet wurde. Die Kantonale Verwaltung für die direkte Bundessteuer Schwyz liess die deklarierten Verluste nicht zum Abzug zu und veranlagte die Eheleute A. und B.X._ am 10. Juni 2003 für die direkte Bundessteuer der Periode 1997/98 mit einem steuerbaren Einkommen von Fr. 163'500.--. Ebenfalls am 10. Juni 2003 legte die Verwaltung das steuerbare Einkommen der Periode 1999/2000 auf Fr. 140'700.-- fest. Eine gegen diese zwei Veranlagungsverfügungen eingereichte Einsprache wies die Kantonale Steuerkommission Schwyz am 11. Oktober 2004 ab. A. A.X._ (dipl. Steuerexperte) machte sich Anfang 1993 als Steuerberater selbständig und gründete diverse Unternehmen, namentlich die Einzelfirma "S._", Zürich, und die Y._ GmbH, D._ (SZ). In der Steuererklärung 1997/98 deklarierten er und seine Ehefrau B.X._ ein Einkommen aus unselbständiger Erwerbstätigkeit (betreffend Y._ GmbH: Fr. 131'476.-- bzw. Fr. 138'668.--) und Verluste aus selbständiger Erwerbstätigkeit von Fr. 336'537.-- bzw. Fr. 291'355.--, womit kein steuerbares Einkommen resultierte. Dies ergab sich auch für die Steuererklärung 1999/2000, worin das Einkommen aus unselbständiger Erwerbstätigkeit (je Fr. 130'000.--) auch mit einem Liegenschaftsverlust von je Fr. 100'000.-- verrechnet wurde. Die Kantonale Verwaltung für die direkte Bundessteuer Schwyz liess die deklarierten Verluste nicht zum Abzug zu und veranlagte die Eheleute A. und B.X._ am 10. Juni 2003 für die direkte Bundessteuer der Periode 1997/98 mit einem steuerbaren Einkommen von Fr. 163'500.--. Ebenfalls am 10. Juni 2003 legte die Verwaltung das steuerbare Einkommen der Periode 1999/2000 auf Fr. 140'700.-- fest. Eine gegen diese zwei Veranlagungsverfügungen eingereichte Einsprache wies die Kantonale Steuerkommission Schwyz am 11. Oktober 2004 ab. B. Gegen deren Einspracheentscheid gelangten die Ehegatten A. und B.X._ an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde am 16. März 2005 ab, soweit es darauf eintrat. Wie die Kantonale Steuerkommission kam das Verwaltungsgericht zum Ergebnis, der Ehemann habe seine selbständige Tätigkeit Ende 1996 aufgegeben und könne deshalb hierfür keine Abzüge mehr geltend machen. Im Übrigen sei der Aufwand für eine Renovation der Liegenschaft bereits in einer früheren Steuerperiode erfasst worden. B. Gegen deren Einspracheentscheid gelangten die Ehegatten A. und B.X._ an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde am 16. März 2005 ab, soweit es darauf eintrat. Wie die Kantonale Steuerkommission kam das Verwaltungsgericht zum Ergebnis, der Ehemann habe seine selbständige Tätigkeit Ende 1996 aufgegeben und könne deshalb hierfür keine Abzüge mehr geltend machen. Im Übrigen sei der Aufwand für eine Renovation der Liegenschaft bereits in einer früheren Steuerperiode erfasst worden. C. Gegen das Urteil des Verwaltungsgerichts haben A. und B.X._ am 20. April 2005 Verwaltungsgerichtsbeschwerde beim Bundesgericht eingereicht. Die Beschwerdeführer beantragen, den angefochtenen Entscheid aufzuheben, soweit er die direkte Bundessteuer betrifft. Die Einzelfirma des Ehemanns sei anzuerkennen und die entsprechenden Jahresergebnisse seien mitzuberücksichtigen. Auf die weiteren Anträge der Eingabe an die Vorinstanz haben die Beschwerdeführer ausdrücklich verzichtet. Schliesslich seien die Steuerfaktoren für Einkommen und Vermögen 1997 bis 2000 je mit "0" festzusetzen. Im Übrigen haben die Beschwerdeführer mit separater Eingabe gegen den Entscheid auch staatsrechtliche Beschwerde beim Bundesgericht erhoben (Verfahren 2P.111/2005). Das Verwaltungsgericht, die Kantonale Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung beantragen, die Verwaltungsgerichtsbeschwerde abzuweisen.