Sachverhalt:
Sachverhalt:
A. A.X._ (dipl. Steuerexperte) machte sich Anfang 1993 als Steuerberater selbständig und gründete diverse Unternehmen, namentlich die Einzelfirma "S._", Zürich, und die Y._ GmbH, D._ (SZ). In der Steuererklärung 1997/98 deklarierten er und seine Ehefrau B.X._ ein Einkommen aus unselbständiger Erwerbstätigkeit (betreffend Y._ GmbH: Fr. 131'476.-- bzw. Fr. 138'668.--) und Verluste aus selbständiger Erwerbstätigkeit von Fr. 336'537.-- bzw. Fr. 291'355.--, womit kein steuerbares Einkommen resultierte. Dies ergab sich auch für die Steuererklärung 1999/2000, worin das Einkommen aus unselbständiger Erwerbstätigkeit (je Fr. 130'000.--) auch mit einem Liegenschaftsverlust von je Fr. 100'000.-- verrechnet wurde. Die Kantonale Verwaltung für die direkte Bundessteuer Schwyz liess die deklarierten Verluste nicht zum Abzug zu und veranlagte die Eheleute A. und B.X._ am 10. Juni 2003 für die direkte Bundessteuer der Periode 1997/98 mit einem steuerbaren Einkommen von Fr. 163'500.--. Ebenfalls am 10. Juni 2003 legte die Verwaltung das steuerbare Einkommen der Periode 1999/2000 auf Fr. 140'700.-- fest. Eine gegen diese zwei Veranlagungsverfügungen eingereichte Einsprache wies die Kantonale Steuerkommission Schwyz am 11. Oktober 2004 ab.
A. A.X._ (dipl. Steuerexperte) machte sich Anfang 1993 als Steuerberater selbständig und gründete diverse Unternehmen, namentlich die Einzelfirma "S._", Zürich, und die Y._ GmbH, D._ (SZ). In der Steuererklärung 1997/98 deklarierten er und seine Ehefrau B.X._ ein Einkommen aus unselbständiger Erwerbstätigkeit (betreffend Y._ GmbH: Fr. 131'476.-- bzw. Fr. 138'668.--) und Verluste aus selbständiger Erwerbstätigkeit von Fr. 336'537.-- bzw. Fr. 291'355.--, womit kein steuerbares Einkommen resultierte. Dies ergab sich auch für die Steuererklärung 1999/2000, worin das Einkommen aus unselbständiger Erwerbstätigkeit (je Fr. 130'000.--) auch mit einem Liegenschaftsverlust von je Fr. 100'000.-- verrechnet wurde. Die Kantonale Verwaltung für die direkte Bundessteuer Schwyz liess die deklarierten Verluste nicht zum Abzug zu und veranlagte die Eheleute A. und B.X._ am 10. Juni 2003 für die direkte Bundessteuer der Periode 1997/98 mit einem steuerbaren Einkommen von Fr. 163'500.--. Ebenfalls am 10. Juni 2003 legte die Verwaltung das steuerbare Einkommen der Periode 1999/2000 auf Fr. 140'700.-- fest. Eine gegen diese zwei Veranlagungsverfügungen eingereichte Einsprache wies die Kantonale Steuerkommission Schwyz am 11. Oktober 2004 ab.
B. Gegen deren Einspracheentscheid gelangten die Ehegatten A. und B.X._ an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde am 16. März 2005 ab, soweit es darauf eintrat. Wie die Kantonale Steuerkommission kam das Verwaltungsgericht zum Ergebnis, der Ehemann habe seine selbständige Tätigkeit Ende 1996 aufgegeben und könne deshalb hierfür keine Abzüge mehr geltend machen. Im Übrigen sei der Aufwand für eine Renovation der Liegenschaft bereits in einer früheren Steuerperiode erfasst worden.
B. Gegen deren Einspracheentscheid gelangten die Ehegatten A. und B.X._ an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde am 16. März 2005 ab, soweit es darauf eintrat. Wie die Kantonale Steuerkommission kam das Verwaltungsgericht zum Ergebnis, der Ehemann habe seine selbständige Tätigkeit Ende 1996 aufgegeben und könne deshalb hierfür keine Abzüge mehr geltend machen. Im Übrigen sei der Aufwand für eine Renovation der Liegenschaft bereits in einer früheren Steuerperiode erfasst worden.
C. Gegen das Urteil des Verwaltungsgerichts haben A. und B.X._ am 20. April 2005 Verwaltungsgerichtsbeschwerde beim Bundesgericht eingereicht. Die Beschwerdeführer beantragen, den angefochtenen Entscheid aufzuheben, soweit er die direkte Bundessteuer betrifft. Die Einzelfirma des Ehemanns sei anzuerkennen und die entsprechenden Jahresergebnisse seien mitzuberücksichtigen. Auf die weiteren Anträge der Eingabe an die Vorinstanz haben die Beschwerdeführer ausdrücklich verzichtet. Schliesslich seien die Steuerfaktoren für Einkommen und Vermögen 1997 bis 2000 je mit "0" festzusetzen. Im Übrigen haben die Beschwerdeführer mit separater Eingabe gegen den Entscheid auch staatsrechtliche Beschwerde beim Bundesgericht erhoben (Verfahren 2P.111/2005).
Das Verwaltungsgericht, die Kantonale Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung beantragen, die Verwaltungsgerichtsbeschwerde abzuweisen.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Die Verwaltungsgerichtsbeschwerde richtet sich gegen den letzt-instanzlichen kantonalen Entscheid des Verwaltungsgerichts, soweit er die direkte Bundessteuer betrifft (vgl. Art. 97 Abs. 1 OG in Verbindung mit <ref-law> und Art. 98 lit. g OG sowie Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 621.11]). Die Beschwerdeführer sind durch den angefochtenen Entscheid beschwert und zur Beschwerdeführung legitimiert (Art. 103 lit. a OG).
1.2 Im Verfahren der Verwaltungsgerichtsbeschwerde prüft das Bundesgericht von Amtes wegen und frei, ob Bundesrecht verletzt worden ist. In Abgabestreitigkeiten ist es grundsätzlich weder an die Parteibegehren noch an deren Begründung gebunden (Art. 114 Abs. 1 OG) und kann die Beschwerde auch aus andern als den im Verfahren vorgebrachten Gründen gutheissen oder abweisen (<ref-ruling> E. 1.2.2 S. 150 f.). Die Sachverhaltsfeststellung bindet das Bundesgericht indessen im Rahmen von Art. 105 Abs. 2 OG.
1.3 Dass der Abzug für Renovationsarbeiten nicht berücksichtigt wurde, beanstanden die Beschwerdeführer nicht mehr. Angefochten sind allerdings beide Veranlagungen, weshalb zu prüfen ist, ob die Streitfrage der Verlustverrechnung bzw. der selbständigen Erwerbstätigkeit die Steuerjahre 1997/98 und 1999/2000 betrifft.
1.3 Dass der Abzug für Renovationsarbeiten nicht berücksichtigt wurde, beanstanden die Beschwerdeführer nicht mehr. Angefochten sind allerdings beide Veranlagungen, weshalb zu prüfen ist, ob die Streitfrage der Verlustverrechnung bzw. der selbständigen Erwerbstätigkeit die Steuerjahre 1997/98 und 1999/2000 betrifft.
2. 2.1 Bei selbständiger Erwerbstätigkeit werden die geschäfts- oder berufsmässig begründeten Kosten abgezogen, wozu insbesondere auch die eingetretenen und verbuchten Verluste auf Geschäftsvermögen gehören (Art. 27 Abs. 1 und Abs. 2 lit. b DBG). Nach <ref-law> können vom durchschnittlichen Einkommen der Bemessungsperiode (<ref-law>) Verlustüberschüsse aus drei vorangegangenen Bemessungsperioden abgezogen werden, soweit sie bei der Berechnung des steuerbaren Einkommens der Vorjahre nicht berücksichtigt werden konnten. Voraussetzung für die Abziehbarkeit von Verlusten ist demnach, dass der Steuerpflichtige selbständig erwerbstätig ist und die bei dieser Tätigkeit erzielten Einkünfte steuerbar sind (<ref-law>); nur in diesem Fall kann von Geschäftsverlusten bzw. Verlusten auf Geschäftsvermögen gesprochen werden (Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.1; vgl. auch StR 59/2004 S. 102, 2A.272/2003, E. 4; Urteil 2A.557/1996 vom 4. Februar 2000, E. 2).
2.2 Der Einkommensteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte (<ref-law>). Steuerbar sind gemäss <ref-law> alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit. Unter diesen Begriff fällt allgemein jede Tätigkeit, bei der ein Unternehmer auf eigenes Risiko, unter Einsatz von Arbeit und Kapital, in einer frei gewählten Organisation und mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Eine solche Tätigkeit kann haupt- oder nebenberuflich, dauernd oder temporär ausgeübt werden. Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten. Im Übrigen wird nicht verlangt, dass die steuerpflichtige Person nach aussen sichtbar am Wirtschaftsverkehr teilnimmt bzw. ein selbständiger Marktauftritt vorliegt und ein Unternehmen, Gewerbe oder Geschäft betrieben wird (vgl. zum Ganzen <ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 5a S. 452 f.; Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.2 in fine; Urteil 2A.46/2005 vom 31. August 2005, E. 2.2.1 in initio, je mit Hinweisen; siehe auch StR 59/2004 S. 102, 2A.272/2003, E. 2.3). Nicht als selbständige Erwerbstätigkeit kann anerkannt werden, wenn eine solche nur zum Schein besteht oder sonst wie keinen erwerblichen Charakter aufweist. In diesem Zusammenhang kommt der Gewinnabsicht entscheidende Bedeutung zu. Diese Absicht bildet ein subjektives Kriterium, das nur aufgrund äusserer Umstände festgestellt werden kann (BGE <ref-ruling> E. 3c S. 450; <ref-ruling> E. 9b S. 171; Urteil H 98/90 vom 26. Februar 1991, E. 3, je mit Hinweisen; Peter Locher, Kommentar zum DBG, I. Teil, Therwil/Basel 2001, N. 14 zu <ref-law>).
3. Der Beschwerdeführer machte sich im Frühling 1993 durch seine Einzelfirma selbständig, die mit einer Anwaltskanzlei eine einfache Gesellschaft bildete, wodurch er an der Kanzlei mitbeteiligt war. Zudem gründete er die Y._ GmbH, mit welcher er als angestellter Geschäftsführer seine eigenen Mandate betreute und abwickelte. Ob er die Verluste aus selbständiger Erwerbstätigkeit vom Einkommen aus unselbständiger Erwerbstätigkeit abziehen kann, hängt davon ab, ob er in den massgebenden Geschäftsjahren 1995/96 und 1997/98 eine selbständige Erwerbstätigkeit auch tatsächlich ausgeübt hat.
3.1 Wenn die Vorinstanz aufgrund einer Beurteilung der gesamten Umstände zum Ergebnis gelangt ist, dass eine selbständige Erwerbstätigkeit hier nicht vorliegt, ist dies nicht zu beanstanden. Nach den eigenen Ausführungen des Beschwerdeführers wurden die Mandate über die Y._ GmbH, nicht über die Einzelfirma geführt. Diese stellte gemäss vorliegender Beschwerde letztmals im Jahr 1994 Rechnung, womit in den massgeblichen Geschäftsjahren (1995 bis 1998) keine Honorare vereinnahmt wurden. Gegenüber der Zürcher Steuerverwaltung gab der Beschwerdeführer selber zu, dass seine Einzelfirma seit dem Ende der Zusammenarbeit mit der Anwaltskanzlei keine Geschäfte mehr getätigt habe. Insofern kann übrigens auch nicht von stiller Teilhaberschaft gesprochen werden (vgl. dazu Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.4 und 4.5).
3.2 Was die Beschwerdeführer dagegen einwenden, überzeugt nicht: Dass die Vorinstanz den Sachverhalt offensichtlich fehlerhaft festgestellt hätte (Art. 105 Abs. 2 OG), legen die Beschwerdeführer nicht dar; sie anerkennen die Feststellungen vielmehr "grösstenteils" ausdrücklich. Die Vorinstanz hat für die selbständige Erwerbstätigkeit nicht nur auf die fehlenden Beratungshonorare abgestellt, sondern auch weitere Umstände berücksichtigt, wie etwa die Rückvergütung der vom Beschwerdeführer bezahlten persönlichen Beiträge durch die AHV-Ausgleichskasse. Weiter ändert auch der eingereichte Mietvertrag für Büroräumlichkeiten nichts, da der Vertrag der Z._ GmbH zuzuordnen ist; diese gründete der Beschwerdeführer für die Zusammenarbeit mit einem früheren Arbeitskollegen, der eine selbständige Erwerbstätigkeit aufgenommen hatte. So ist Mieterin die Z._ GmbH, während der Beschwerdeführer für den Mietzins bloss solidarisch mithaftet. Ebenso wenig genügt die Absicht des Beschwerdeführers, die Einzelfirma als persönlichen "Notnagel" zu behalten, handelt es sich dabei doch um ein unzureichendes subjektives Kriterium für eine selbständige Erwerbstätigkeit. Im Übrigen ging es beim angeführten Mediationsverfahren nicht um ein Honorarinkasso, sondern um Kostenbeiträge aus der Zusammenarbeit mit dem Anwaltsbüro; deshalb kann der vorliegende Fall auch nicht mit demjenigen verglichen werden, auf den die Beschwerdeführer in ihrer Eingabe vergeblich hinweisen (ASA 53 S. 352 E. 3). Dies gilt auch für die von ihnen zitierte Rechtsprechung des Bundesgerichts zum Liegenschaftenhandel (<ref-ruling> E. 6a S. 124) bzw. zur Verpachtung (StE 1996 B 23.2 Nr. 16, 2A.306/1994, E. 3; vgl. auch <ref-ruling> E. 3d/bb und 4 S. 477; Urteile 2A.700/2004 vom 26. Mai 2005, E. 3.1; 2A.172/1996 vom 7. Juli 1996, E. 3b) und zur Unterscheidung zwischen Liebhaberei und selbständiger Erwerbstätigkeit (<ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 9 S. 170 ff.; Urteil 2A.46/2005 vom 31. August 2005, E. 2.2.1 mit Hinweisen); hier ist eben gerade keine aktive Geschäftstätigkeit gegeben.
3.3 Da somit keine selbständige Erwerbstätigkeit vorliegt, können die in dieser Hinsicht geltend gemachten Verluste auch nicht vom Einkommen aus unselbständiger Erwerbstätigkeit abgezogen werden.
3.3 Da somit keine selbständige Erwerbstätigkeit vorliegt, können die in dieser Hinsicht geltend gemachten Verluste auch nicht vom Einkommen aus unselbständiger Erwerbstätigkeit abgezogen werden.
4. Demnach ist die Verwaltungsgerichtsbeschwerde unbegründet und deshalb abzuweisen. Bei diesem Verfahrensausgang sind die Kosten den unterliegenden Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 153, 153a und Art. 156 Abs. 1 und 7 OG). Parteientschädigungen sind nicht geschuldet (Art. 159 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Kantonalen Verwaltung für die direkte Bundessteuer und dem Verwaltungsgericht des Kantons Schwyz, Kammer II, sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 9. November 2005
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: