Sachverhalt:
Sachverhalt:
A. A.X._ (dipl. Steuerexperte) machte sich Anfang 1993 als Steuerberater selbständig und gründete diverse Unternehmen, namentlich die Y._ GmbH, D._ (SZ) und die Einzelfirma "S._", Zürich. Nach erfolgloser Mahnung, die definitive Steuererklärung 1997 einzureichen, schätzte das Kantonale Steueramt Zürich am 11. Januar 2000 A.X._ und seine Ehefrau B.X._ auf ein Reineinkommen und ein Reinvermögen von je Fr. 50'000.-- bzw. Fr. 100'000.-- (Kanton Zürich bzw. gesamt) ein für die Staats- und Gemeindesteuern 1997. Eine Einsprache wurde aufgrund einer Neueinschätzung auf ein Reineinkommen und Reinvermögen von je Fr. 0.-- (Kanton Zürich und gesamt) zurückgezogen. Für die kantonalen Steuern 1998 und 1999 reichten die Eheleute A. und B.X._ ebenfalls keine Steuererklärungen ein. Bezüglich 1998 verzichtete das Zürcher Steueramt darauf, einen Entscheid zuzustellen. Mit Einschätzungsentscheid vom 22. Mai 2001 veranlagte es die Ehegatten A. und B.X._ indes für die Staats- und Gemeindesteuern 1999 ermessensweise mit einem steuerbaren Einkommen von Fr. 10'000.-- (satzbestimmend: Fr. 100'000.--; steuerbares bzw. satzbestimmendes Vermögen: je Fr. 0.--). Eine hiergegen eingereichte Einsprache blieb erfolglos (Einspracheentscheid vom 9. Juli 2001). Schliesslich deklarierte das Ehepaar A. und B.X._ in der Steuererklärung 2000 ein steuerbares Einkommen bzw. Vermögen von je Fr. 0.--. Das Steueramt verzichtete darauf, das satzbestimmende Einkommen festzusetzen; es nahm an, der Ehemann habe im Steuerjahr 2000 im Kanton Zürich keine selbständige Erwerbstätigkeit ausgeübt.
A. A.X._ (dipl. Steuerexperte) machte sich Anfang 1993 als Steuerberater selbständig und gründete diverse Unternehmen, namentlich die Y._ GmbH, D._ (SZ) und die Einzelfirma "S._", Zürich. Nach erfolgloser Mahnung, die definitive Steuererklärung 1997 einzureichen, schätzte das Kantonale Steueramt Zürich am 11. Januar 2000 A.X._ und seine Ehefrau B.X._ auf ein Reineinkommen und ein Reinvermögen von je Fr. 50'000.-- bzw. Fr. 100'000.-- (Kanton Zürich bzw. gesamt) ein für die Staats- und Gemeindesteuern 1997. Eine Einsprache wurde aufgrund einer Neueinschätzung auf ein Reineinkommen und Reinvermögen von je Fr. 0.-- (Kanton Zürich und gesamt) zurückgezogen. Für die kantonalen Steuern 1998 und 1999 reichten die Eheleute A. und B.X._ ebenfalls keine Steuererklärungen ein. Bezüglich 1998 verzichtete das Zürcher Steueramt darauf, einen Entscheid zuzustellen. Mit Einschätzungsentscheid vom 22. Mai 2001 veranlagte es die Ehegatten A. und B.X._ indes für die Staats- und Gemeindesteuern 1999 ermessensweise mit einem steuerbaren Einkommen von Fr. 10'000.-- (satzbestimmend: Fr. 100'000.--; steuerbares bzw. satzbestimmendes Vermögen: je Fr. 0.--). Eine hiergegen eingereichte Einsprache blieb erfolglos (Einspracheentscheid vom 9. Juli 2001). Schliesslich deklarierte das Ehepaar A. und B.X._ in der Steuererklärung 2000 ein steuerbares Einkommen bzw. Vermögen von je Fr. 0.--. Das Steueramt verzichtete darauf, das satzbestimmende Einkommen festzusetzen; es nahm an, der Ehemann habe im Steuerjahr 2000 im Kanton Zürich keine selbständige Erwerbstätigkeit ausgeübt.
B. In der Schwyzer Steuererklärung 1997/98 deklarierte das Ehepaar A. und B.X._ Einkommen aus unselbständiger Erwerbstätigkeit (betreffend Y._ GmbH: Fr. 131'476.-- bzw. Fr. 138'668.--) und Verluste aus selbständiger Erwerbstätigkeit von Fr. 336'537.-- bzw. Fr. 291'355.--, womit kein steuerbares Einkommen resultierte. Dies ergab sich ebenso für die Steuererklärung 1999/2000, worin das Einkommen aus unselbständiger Erwerbstätigkeit (je Fr. 130'000.--) auch mit einem Liegenschaftsverlust von je Fr. 100'000.-- verrechnet wurde. Die Kantonale Steuerverwaltung liess die deklarierten Verluste nicht zum Abzug zu und veranlagte die Eheleute A. und B.X._ am 10. Juni 2003 für die kantonalen Steuern der Periode 1997/98 mit einem steuerbaren Einkommen von Fr. 154'300.-- (und einem Vermögen von Fr. 88'000.--). Ebenfalls am 10. Juni 2003 legte die Verwaltung das steuerbare Einkommen der Periode 1999/2000 auf Fr. 120'300.-- fest. Eine gegen diese zwei Veranlagungsverfügungen eingereichte Einsprache wies die Kantonale Steuerkommission Schwyz am 11. Oktober 2004 ab.
B. In der Schwyzer Steuererklärung 1997/98 deklarierte das Ehepaar A. und B.X._ Einkommen aus unselbständiger Erwerbstätigkeit (betreffend Y._ GmbH: Fr. 131'476.-- bzw. Fr. 138'668.--) und Verluste aus selbständiger Erwerbstätigkeit von Fr. 336'537.-- bzw. Fr. 291'355.--, womit kein steuerbares Einkommen resultierte. Dies ergab sich ebenso für die Steuererklärung 1999/2000, worin das Einkommen aus unselbständiger Erwerbstätigkeit (je Fr. 130'000.--) auch mit einem Liegenschaftsverlust von je Fr. 100'000.-- verrechnet wurde. Die Kantonale Steuerverwaltung liess die deklarierten Verluste nicht zum Abzug zu und veranlagte die Eheleute A. und B.X._ am 10. Juni 2003 für die kantonalen Steuern der Periode 1997/98 mit einem steuerbaren Einkommen von Fr. 154'300.-- (und einem Vermögen von Fr. 88'000.--). Ebenfalls am 10. Juni 2003 legte die Verwaltung das steuerbare Einkommen der Periode 1999/2000 auf Fr. 120'300.-- fest. Eine gegen diese zwei Veranlagungsverfügungen eingereichte Einsprache wies die Kantonale Steuerkommission Schwyz am 11. Oktober 2004 ab.
C. Gegen diesen Einspracheentscheid gelangten die Ehegatten A. und B.X._ an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde am 16. März 2005 ab, soweit es darauf eintrat. Wie die Kantonale Steuerkommission kam das Verwaltungsgericht zum Ergebnis, der Ehemann habe seine selbständige Tätigkeit Ende 1996 aufgegeben und könne deshalb hierfür keine Abzüge mehr geltend machen. Im Übrigen sei der Aufwand für eine Renovation der Liegenschaft bereits in einer früheren Steuerperiode erfasst worden.
C. Gegen diesen Einspracheentscheid gelangten die Ehegatten A. und B.X._ an das Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde am 16. März 2005 ab, soweit es darauf eintrat. Wie die Kantonale Steuerkommission kam das Verwaltungsgericht zum Ergebnis, der Ehemann habe seine selbständige Tätigkeit Ende 1996 aufgegeben und könne deshalb hierfür keine Abzüge mehr geltend machen. Im Übrigen sei der Aufwand für eine Renovation der Liegenschaft bereits in einer früheren Steuerperiode erfasst worden.
D. Gegen das Urteil des Verwaltungsgerichts haben A. und B.X._ am 20. April 2005 staatsrechtliche Beschwerde beim Bundesgericht eingereicht. Die Beschwerdeführer beantragen, den angefochtenen Entscheid aufzuheben und den Doppelbesteuerungskonflikt zwischen den Kantonen Zürich und Schwyz zu lösen. Die Einzelfirma des Ehemanns sei anzuerkennen, die entsprechenden Jahresergebnisse in den jeweiligen Kantonen seien zu berücksichtigen und zu viel bezahlte Steuern zurückzuerstatten. Mit separater Eingabe gleichen Datums haben die Beschwerdeführer gegen den Entscheid auch Verwaltungsgerichtsbeschwerde beim Bundesgericht erhoben (Verfahren 2A.244/2005).
Die Kantonale Steuerkommission Schwyz und das Kantonale Steueramt Zürich beantragen, die staatsrechtliche Beschwerde abzuweisen, soweit sie den jeweiligen Kanton betrifft und darauf einzutreten sei. Das Verwaltungsgericht beantragt deren Abweisung.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Die staatsrechtliche Beschwerde gegen den Entscheid des Verwaltungsgerichts wegen Verletzung des Doppelbesteuerungsverbots (Art. 127 Abs. 3 BV bzw. Art. 46 Abs. 2 aBV) ist grundsätzlich zulässig (vgl. Art. 89 Abs. 3 OG; statt vieler: BGE 2P.301/2003 vom 23. Juni 2005; 2P.292/2004 vom 22. Juni 2005 [beide zur Publikation bestimmt], je E. 1.1 mit Hinweis). Indes muss die Beschwerde die wesentlichen Tatsachen und eine kurz gefasste Darstellung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze und inwiefern sie durch den angefochtenen Entscheid verletzt worden sind (Art. 90 Abs. 1 lit. b OG). Kurze Ausführungen genügen, wenn das angerufene Recht klar umschrieben und auf den vorgelegten Sachverhalt zugeschnitten ist; eine ausführlichere Begründung ist jedoch erforderlich, wenn die Doppelbesteuerung nicht eindeutig hervorgeht und nicht ersichtlich ist, inwiefern eine Kollisionsnorm verletzt sein könnte (Urteil 2P.106/1996 vom 16. November 1998, E. 1b; <ref-ruling> E. 2b S. 318 f., je mit Hinweisen; vgl. auch RDAT 2000 I Nr. 12t S. 650, 2P.277/1998, E. 2b; 1995 II Nr. 16t S. 479, 2P.186/1994, E. 1f). Soweit die insofern rudimentäre (Laien-)Beschwerde diesen Anforderungen genügt, kann darauf eingetreten werden. Im Übrigen geht es hier um einen Sachverhalt, der in die Zeit vor Ablauf der Frist zur Anpassung der kantonalen Gesetzgebung an das Steuerharmonisierungsgesetz fällt (vgl. 72 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]); damit sind dessen Grundsätze vorliegend nicht anzuwenden.
1.2 Die staatsrechtliche Beschwerde ist prinzipiell kassatorischer Natur, das heisst, es kann mit ihr nur die Aufhebung des angefochtenen Entscheids, nicht aber der Erlass positiver Anordnungen verlangt werden. Eine Ausnahme von diesem Grundsatz besteht bei einer Verletzung des Doppelbesteuerungsverbots. Demnach kann das Bundesgericht den kantonalen Entscheid aufheben, eine verbindliche Weisung für die verfassungskonforme Steuerausscheidung erteilen oder die Rückerstattung ungerechtfertigt erhobener Steuern anordnen (vgl. etwa BGE 2P.301/2003 vom 23. Juni 2005; 2P.292/2004 vom 22. Juni 2005, je E. 1.2). Insofern sind die Anträge der Beschwerdeführer grundsätzlich zulässig. Im Übrigen prüft das Bundesgericht bei staatsrechtlichen Beschwerden wegen Verletzung des Doppelbesteuerungsverbots Rechts- und Tatfragen frei (BGE 2P.291/2004 vom 22. Juni 2005, E. 1.3 mit Hinweis; Urteil 2P.260/2004 vom 28. April 2005, E. 1.2). Soweit sich das angefochtene Urteil auf kantonales Steuerrecht stützt, untersucht das Bundesgericht dessen Anwendung allerdings nur auf Willkür hin (vgl. zum Willkürbegriff etwa <ref-ruling> E. 2.1 S. 9 mit Hinweisen).
1.3 Die Beschwerdeführer rügen eine Verletzung des Doppelbesteuerungsverbots, ferner einen Verstoss gegen das Willkürverbot. Für eine angeblich fehlerhafte Sachverhaltsfeststellung durch das Verwaltungsgericht verweisen sie auf die separat eingereichte Verwaltungsgerichtsbeschwerde, so dass auf die Rüge in diesem Verfahren nicht weiter einzugehen ist; dies gilt übrigens auch für die Frage des Abzugs für Renovationsarbeiten, die nicht mehr vorgebracht wird. Wie in jenem Verfahren beanstanden die Beschwerdeführer eigentlich auch hier, dass das Verwaltungsgericht die selbständige Erwerbstätigkeit und insbesondere die daraus resultierenden Verluste nicht anerkannt habe; dies wird im vorliegenden Zusammenhang ebenfalls zu erörtern sein.
1.3 Die Beschwerdeführer rügen eine Verletzung des Doppelbesteuerungsverbots, ferner einen Verstoss gegen das Willkürverbot. Für eine angeblich fehlerhafte Sachverhaltsfeststellung durch das Verwaltungsgericht verweisen sie auf die separat eingereichte Verwaltungsgerichtsbeschwerde, so dass auf die Rüge in diesem Verfahren nicht weiter einzugehen ist; dies gilt übrigens auch für die Frage des Abzugs für Renovationsarbeiten, die nicht mehr vorgebracht wird. Wie in jenem Verfahren beanstanden die Beschwerdeführer eigentlich auch hier, dass das Verwaltungsgericht die selbständige Erwerbstätigkeit und insbesondere die daraus resultierenden Verluste nicht anerkannt habe; dies wird im vorliegenden Zusammenhang ebenfalls zu erörtern sein.
2. 2.1 Eine Doppelbesteuerung, die gegen Art. 127 Abs. 3 BV (bzw. Art. 46 Abs. 2 aBV [gültig bis 31. Dezember 1999]) verstösst, liegt nach konstanter Rechtsprechung vor, wenn eine steuerpflichtige Person von zwei oder mehreren Kantonen für das gleiche Steuerobjekt und für die gleiche Zeit zu Steuern herangezogen wird (aktuelle Doppelbesteuerung); sie ist auch gegeben, wenn ein Kanton die geltenden Kollisionsnormen verletzt, dadurch seine Steuerhoheit überschreitet und eine Steuer erhebt, die einem andern Kanton zusteht (virtuelle Doppelbesteuerung). Ausserdem darf ein Kanton eine steuerpflichtige Person grundsätzlich nicht deshalb stärker belasten, weil sie nicht in vollem Umfang seiner Steuerhoheit untersteht, sondern wegen ihrer territorialen Beziehungen auch noch in einem andern Kanton steuerpflichtig ist (Schlechterstellungsverbot; vgl. zum Ganzen statt vieler <ref-ruling> E. 2.1 S. 286 mit Hinweisen).
2.2 Die Beschwerdeführer rügen insofern einen Verstoss gegen das Doppelbesteuerungsverbot, als der Kanton Zürich beim Ehemann auf eine selbständige Erwerbstätigkeit geschlossen, veranlagt und Steuern einvernahmt habe, während der Kanton Schwyz annehme, eine solche Tätigkeit sei per 31. Dezember 1996 beendet. Als Hauptsteuerdomizil müsste dieser die im Kanton Zürich entstandenen Verluste übernehmen. Ansonsten seien die dort bezahlten Steuern zurückzuerstatten.
2.2 Die Beschwerdeführer rügen insofern einen Verstoss gegen das Doppelbesteuerungsverbot, als der Kanton Zürich beim Ehemann auf eine selbständige Erwerbstätigkeit geschlossen, veranlagt und Steuern einvernahmt habe, während der Kanton Schwyz annehme, eine solche Tätigkeit sei per 31. Dezember 1996 beendet. Als Hauptsteuerdomizil müsste dieser die im Kanton Zürich entstandenen Verluste übernehmen. Ansonsten seien die dort bezahlten Steuern zurückzuerstatten.
3. 3.1 Bei natürlichen Personen werden vom rohen Einkommen insbesondere auch die eingetretenen und verbuchten Geschäftsverluste abgezogen (§ 22 Abs. 1 lit. c des alten Schwyzer Steuergesetzes vom 28. Oktober 1958 [aStG/SZ]). Nach § 9 Abs. 1 aStG können selbständig Erwerbende die Summe der durchschnittlichen Verluste aus drei vorangegangenen Berechnungsperioden vom Durchschnittseinkommen der Berechnungsperiode abziehen, sofern diese Verluste noch nicht mit sonstigem Einkommen verrechnet worden sind. Eine praktisch gleiche Regelung bezüglich Verlusten kennt im Übrigen das eidgenössische Steuerrecht (vgl. Art. 31 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Voraussetzung für die Abziehbarkeit von Verlusten ist demnach, dass der Steuerpflichtige selbständig erwerbstätig ist und die bei dieser Tätigkeit erzielten Einkünfte steuerbar sind; nur in diesem Fall kann von Geschäftsverlusten bzw. Verlusten auf Geschäftsvermögen gesprochen werden (vgl. Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.1; siehe auch StR 59/2004 S. 102, 2A.272/2003, E. 4; Urteil 2A.557/1996 vom 4. Februar 2000, E. 2). Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (vgl. zu diesem Begriff <ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 5a S. 452 f.; Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.2 in fine; Urteil 2A.46/2005 vom 31. August 2005, E. 2.2.1 in initio, je mit Hinweisen; siehe auch StR 59/2004 S. 102, 2A.272/2003, E. 2.3).
3. 3.1 Bei natürlichen Personen werden vom rohen Einkommen insbesondere auch die eingetretenen und verbuchten Geschäftsverluste abgezogen (§ 22 Abs. 1 lit. c des alten Schwyzer Steuergesetzes vom 28. Oktober 1958 [aStG/SZ]). Nach § 9 Abs. 1 aStG können selbständig Erwerbende die Summe der durchschnittlichen Verluste aus drei vorangegangenen Berechnungsperioden vom Durchschnittseinkommen der Berechnungsperiode abziehen, sofern diese Verluste noch nicht mit sonstigem Einkommen verrechnet worden sind. Eine praktisch gleiche Regelung bezüglich Verlusten kennt im Übrigen das eidgenössische Steuerrecht (vgl. Art. 31 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Voraussetzung für die Abziehbarkeit von Verlusten ist demnach, dass der Steuerpflichtige selbständig erwerbstätig ist und die bei dieser Tätigkeit erzielten Einkünfte steuerbar sind; nur in diesem Fall kann von Geschäftsverlusten bzw. Verlusten auf Geschäftsvermögen gesprochen werden (vgl. Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.1; siehe auch StR 59/2004 S. 102, 2A.272/2003, E. 4; Urteil 2A.557/1996 vom 4. Februar 2000, E. 2). Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (vgl. zu diesem Begriff <ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 5a S. 452 f.; Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.2 in fine; Urteil 2A.46/2005 vom 31. August 2005, E. 2.2.1 in initio, je mit Hinweisen; siehe auch StR 59/2004 S. 102, 2A.272/2003, E. 2.3).
3.2 3.2.1 Entgegen den Einwänden der Beschwerdeführer hat das Verwaltungsgericht für die selbständige Erwerbstätigkeit nicht nur auf die fehlenden Beratungshonorare abgestellt, sondern auch weitere Umstände berücksichtigt, wie etwa die Rückvergütung der vom Beschwerdeführer bezahlten persönlichen Beiträge durch die AHV-Ausgleichskasse. Weiter ändert auch der eingereichte Mietvertrag für Büroräumlichkeiten nichts, da der Vertrag der Z._ GmbH zuzuordnen ist; diese gründete der Beschwerdeführer für die Zusammenarbeit mit einem früheren Arbeitskollegen, der eine selbständige Erwerbstätigkeit aufgenommen hatte. So ist Mieterin die Z._ GmbH, während der Beschwerdeführer für den Mietzins bloss solidarisch mithaftet. Ebenso wenig genügt die Absicht des Beschwerdeführers, die Einzelfirma als persönlichen "Notnagel" zu behalten, handelt es sich dabei doch um ein unzureichendes subjektives Kriterium für eine selbständige Erwerbstätigkeit (vgl. BGE <ref-ruling> E. 3c S. 450; <ref-ruling> E. 9b S. 171; Urteil H 98/90 vom 26. Februar 1991, E. 3, je mit Hinweisen). Im Übrigen ging es beim angeführten Mediationsverfahren nicht um ein Honorarinkasso, sondern um Kostenbeiträge aus der Zusammenarbeit mit dem Anwaltsbüro; deshalb kann der vorliegende Fall auch nicht mit demjenigen verglichen werden, auf den die Beschwerdeführer in ihrer Eingabe vergeblich hinweisen (ASA 53 S. 352 E. 3). Dies gilt auch für die von ihnen zitierte Rechtsprechung des Bundesgerichts zum Liegenschaftenhandel (<ref-ruling> E. 6a S. 124) bzw. zur Verpachtung (StE 1996 B 23.2 Nr. 16, 2A.306/1994, E. 3; vgl. auch <ref-ruling> E. 3d/bb und 4 S. 477; Urteile 2A.700/2004 vom 26. Mai 2005, E. 3.1; 2A.172/1996 vom 7. Juli 1996, E. 3b) und zur Unterscheidung zwischen Liebhaberei und selbständiger Erwerbstätigkeit (<ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 9 S. 170 ff.; Urteil 2A.46/2005 vom 31. August 2005, E. 2.2.1 mit Hinweisen); hier ist eben gerade keine aktive Geschäftstätigkeit gegeben.
3.2.2 Der Beschwerdeführer machte sich im Frühling 1993 durch seine Einzelfirma selbständig, die mit einer Anwaltskanzlei eine einfache Gesellschaft bildete, wodurch er an der Kanzlei mitbeteiligt war. Zudem gründete er die Y._ GmbH, mit welcher er als angestellter Geschäftsführer seine eigenen Mandate betreute und abwickelte. Wenn das Verwaltungsgericht aufgrund einer Beurteilung der gesamten Umstände zum Ergebnis gelangt ist, dass eine tatsächlich ausgeübte selbständige Erwerbstätigkeit in den massgebenden Geschäftsjahren 1995/96 und 1997/98 nicht vorliegt, ist dies nicht willkürlich. Nach den eigenen Ausführungen des Beschwerdeführers wurden die Mandate über die Y._ GmbH, nicht über die Einzelfirma geführt. Diese stellte gemäss vorliegender Beschwerde letztmals im Jahr 1994 Rechnung, womit in den massgeblichen Geschäftsjahren (1995 bis 1998) keine Honorare vereinnahmt wurden. Gegenüber der Zürcher Steuerverwaltung gab der Beschwerdeführer selber zu, dass seine Einzelfirma seit dem Ende der Zusammenarbeit mit der Anwaltskanzlei keine Geschäfte mehr getätigt habe. Insofern kann übrigens auch nicht von stiller Teilhaberschaft gesprochen werden (vgl. dazu Pra 2003 Nr. 173 S. 944, 2A.328/2002, E. 4.4 und 4.5). Demnach ist ein Abzug der Verluste aus selbständiger Erwerbstätigkeit vom Einkommen aus unselbständiger Erwerbstätigkeit nicht möglich.
3.3 Inwiefern nach dem Gesagten eine Kollisionsnorm verletzt sein könnte, legen die Beschwerdeführer nicht hinreichend dar (vgl. Art. 90 Abs. 1 lit. b OG; E. 1.1); ein Doppelbesteuerungskonflikt ist denn auch nicht ersichtlich. Die Beschwerdeführer reichten im Kanton Zürich für die fraglichen Perioden (1997 bis 2000) lediglich im Jahr 2000 eine Steuererklärung ein. Für dieses Jahr verzichtete das Zürcher Steueramt auf eine Veranlagung wie auch bezüglich 1998 und erkannte insofern gar keine Steuerpflicht. Betreffend die Jahre 1997 und 1999 schätzte es die Beschwerdeführer jeweils nach einem Einspracheverfahren auf Fr. 0.-- bzw. Fr. 10'000.-- (satzbestimmend: Fr. 100'000.--) ein; beide Verfahren wurden offensichtlich rechtskräftig abgeschlossen. In den Einsprachen machte der Beschwerdeführer geltend, die selbständige Erwerbstätigkeit 1995 beendet zu haben. So berücksichtigte das Zürcher Steueramt zu Recht auch keine Verluste aus dieser Tätigkeit. Muss die Steuerbehörde den Pflichtigen nach Ermessen einschätzen, können Verluste nicht nachträglich abgezogen werden, wenn deren Betrag bei dieser Einschätzung nicht definitiv bestimmt werden konnte (vgl. StR 59/2004 S. 193, 2A.55/2002, E. 2.3 mit Hinweisen; siehe auch Urteile 2A.587/2002 vom 11. März 2003; 2A.32/2002 vom 25. April 2002, je E. 1; 2A.182/1990 vom 15. November 1991, E. 3b). Insofern besteht auch kein Grund, allenfalls im Kanton Zürich bezahlte Steuern, welche die Beschwerdeführer nicht ausgewiesen haben, zurückzuerstatten.
3.3 Inwiefern nach dem Gesagten eine Kollisionsnorm verletzt sein könnte, legen die Beschwerdeführer nicht hinreichend dar (vgl. Art. 90 Abs. 1 lit. b OG; E. 1.1); ein Doppelbesteuerungskonflikt ist denn auch nicht ersichtlich. Die Beschwerdeführer reichten im Kanton Zürich für die fraglichen Perioden (1997 bis 2000) lediglich im Jahr 2000 eine Steuererklärung ein. Für dieses Jahr verzichtete das Zürcher Steueramt auf eine Veranlagung wie auch bezüglich 1998 und erkannte insofern gar keine Steuerpflicht. Betreffend die Jahre 1997 und 1999 schätzte es die Beschwerdeführer jeweils nach einem Einspracheverfahren auf Fr. 0.-- bzw. Fr. 10'000.-- (satzbestimmend: Fr. 100'000.--) ein; beide Verfahren wurden offensichtlich rechtskräftig abgeschlossen. In den Einsprachen machte der Beschwerdeführer geltend, die selbständige Erwerbstätigkeit 1995 beendet zu haben. So berücksichtigte das Zürcher Steueramt zu Recht auch keine Verluste aus dieser Tätigkeit. Muss die Steuerbehörde den Pflichtigen nach Ermessen einschätzen, können Verluste nicht nachträglich abgezogen werden, wenn deren Betrag bei dieser Einschätzung nicht definitiv bestimmt werden konnte (vgl. StR 59/2004 S. 193, 2A.55/2002, E. 2.3 mit Hinweisen; siehe auch Urteile 2A.587/2002 vom 11. März 2003; 2A.32/2002 vom 25. April 2002, je E. 1; 2A.182/1990 vom 15. November 1991, E. 3b). Insofern besteht auch kein Grund, allenfalls im Kanton Zürich bezahlte Steuern, welche die Beschwerdeführer nicht ausgewiesen haben, zurückzuerstatten.
4. Demnach ist die staatsrechtliche Beschwerde unbegründet und deshalb abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang sind die Kosten den unterliegenden Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 153, 153a und Art. 156 Abs. 1 und 7 OG). Parteientschädigungen sind nicht geschuldet (Art. 159 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Kantonalen Steuerkommission Schwyz, dem Kantonalen Steueramt Zürich und dem Verwaltungsgericht des Kantons Schwyz, Kammer II, schriftlich mitgeteilt.
Lausanne, 9. November 2005
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: