Sachverhalt:
A.
A.A._ und B.A._ waren seit 1983 in U._/ZH wohnhaft, wo sie in einem ihnen gehörenden Einfamilienhaus lebten. Per 1. November 2008 meldeten sie sich nach V._/SZ an, per 31. Januar 2009 nach W._/SZ und auf den 1. Mai 2010 wieder nach U._ zurück. Im Laufe des Jahres 2014 zogen sie nach X._/FL.
B.
Mit Verfügungen vom 20. August 2013 veranlagte die Steuerverwaltung des Kantons Schwyz die Ehegatten A._ für die Kantons- und Gemeindesteuern der Perioden 2008 sowie 2009. Die Veranlagungen erwuchsen unangefochten in Rechtskraft.
C.
Am 5. September 2014 verfügte das Kantonale Steueramt Zürich, dass A.A._ und B.A._ ihren Wohnsitz vom 1. Januar 2008 bis zum 31. Dezember 2009 weiterhin in U._ hatten und dort somit immer noch unbeschränkt steuerpflichtig waren. Das fochten die Betroffenen erfolglos mit den ihnen auf kantonaler Ebene verfügbaren Rechtsmitteln an, zuletzt mit Beschwerde an das Verwaltungsgericht des Kantons Zürich (Urteil vom 6. Februar 2019).
D.
Mit Verfügung vom 21. Juli 2017 befand die Eidgenössische Steuerverwaltung für die Perioden 2008 und 2009, dass die Besteuerungskompetenz hinsichtlich der direkten Bundessteuer gegenüber den Ehegatten A._ dem Kanton Schwyz zufalle, nicht zuletzt deswegen, weil der Kanton Zürich seinen Veranlagungsanspruch aufgrund ungebührlich langen Zuwartens verwirkt habe und seine Veranlagungsverfügungen vom 5. September 2014 somit nichtig seien.
E.
Die Eheleute A._ haben am 14. März 2019 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie stellen im Wesentlichen den Antrag, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 6. Februar 2019 aufzuheben; die in diesem Kanton für die Perioden 2008 und 2009 zu viel bezahlten Steuern seien zuzüglich Zins zurückzuerstatten. Eventuell seien die Veranlagungsverfügungen 2008 und 2009 der kantonalen Steuerverwaltung Schwyz vom 20. August 2013 aufzuheben; die aufgrund dieser Verfügungen für die Perioden 2008 und 2009 zu viel bezahlten Steuern seien zuzüglich Zins zurückzuerstatten.
F.
Das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich schliessen auf Abweisung der Beschwerde gegenüber dem Urteil vom 6. Februar 2019, soweit darauf überhaupt einzutreten sei. Die Steuerverwaltung des Kantons Schwyz stellt den Antrag, die Hauptbeschwerde zulasten des Kantons Zürich gutzuheissen; im Ablehnungsfall sei der Eventualantrag zulasten der Beschwerdeführer abzuweisen, soweit darauf eingetreten werden könne. Die Eidgenössische Steuerverwaltung hat darauf verzichtet, einen Antrag zu stellen.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Endentscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 BGG), weshalb auf die Beschwerde - mit nachfolgender Einschränkung (E. 1.3) - einzutreten ist.
1.2. Gemäss bundesgerichtlicher Rechtsprechung kann bei Beschwerden wegen interkantonaler Doppelbesteuerung auch eine allenfalls bereits rechtskräftige Veranlagung eines anderen Kantons für dieselbe Steuerperiode mitangefochten werden, obwohl es sich dabei nicht um ein letztinstanzliches Urteil im Sinne von Art. 86 BGG handelt. Der Instanzenzug muss nur in einem Kanton durchlaufen werden (<ref-ruling> E. 1.7 S. 379; <ref-ruling> E. 2.4 S. 306 f.; <ref-ruling> E. 2.4 S. 312 f.; vgl. Art. 100 Abs. 5 BGG). Vorliegend sind deshalb die Veranlagungsverfügungen der Steuerverwaltung des Kantons Schwyz vom 20. August 2013 betreffend die Steuerperioden 2008 und 2009 zulässigerweise mitangefochten.
1.3. Aus dem Verbot der interkantonalen Doppelbesteuerung (Art. 127 Abs. 3 BV) folgt allerdings nicht die Verpflichtung zur Leistung eines Zinses auf bereits eingenommenen und zurückzuzahlenden Steuern. Eine solche Verpflichtung muss sich aus dem kantonalen Recht ergeben. Dass ein solcher Anspruch nach dem Recht der Kantone Zürich oder Schwyz besteht, haben die Beschwerdeführer konkret dargelegt (vgl. Ziff. 67 u. 69 S. 15 f. der Beschwerdeschrift), weshalb auf den entsprechenden Teil ihrer Anträge ebenfalls eingetreten werden kann (vgl. zum Ganzen u.a. auch das Urteil 2C_655/2016 vom 17. Juli 2017 E. 1.2 mit Hinweisen).
1.4. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dies gilt auch bei Beschwerden wegen interkantonaler Doppelbesteuerung, ausser der Kanton, dessen Veranlagung in Rechtskraft erwachsen ist, bestreite die festgestellten Tatsachen (<ref-ruling> E. 1.7). Dies ist hier nicht der Fall. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2.
2.1. Gemäss Art. 127 Abs. 3 BV ist die interkantonale Doppelbesteuerung untersagt. Eine gegen diese Norm verstossende Doppelbesteuerung liegt namentlich dann vor, wenn eine steuerpflichtige Person - wie hier - von zwei oder mehreren Kantonen für das gleiche Steuerobjekt und für die gleiche Zeit zu Steuern herangezogen wird (aktuelle Doppelbesteuerung).
2.2. Einen steuerrechtlichen Wohnsitz in der Schweiz bzw. im Kanton hat eine natürliche Person namentlich, wenn sie sich hier mit der Absicht dauernden Verbleibens aufhält (Art. 3 Abs. 2 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14], Art. 3 Abs. 2 des Bundesgesetzes vom 13. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11], vgl. auch Art. 23 Abs. 1 ZGB). Der Begriff des steuerrechtlichen Wohnsitzes setzt sich aus einem objektiven, äusseren Aspekt (Aufenthalt) und einem subjektiven, inneren Element (Absicht) zusammen (Urteil 2C_627/2011 vom 7. März 2012 E. 4.1). Nach der bundesgerichtlichen Praxis zu Art. 127 Abs. 3 BV gilt dasselbe im interkantonalen Verhältnis. Das Hauptsteuerdomizil einer natürlichen Person befindet sich am steuerrechtlichen Wohnsitz und damit dort, wo faktisch der Mittelpunkt ihrer Lebensinteressen liegt ("le lieu où se situe le centre de ses intérêts"; <ref-ruling> E. 4.1 S. 36, 125 I 54 E. 2 S. 56, 123 I 289 E. 2a S. 293).
2.3. Für eine Wohnsitzverlegung genügt es nicht, die Verbindungen zum bisherigen Wohnsitz zu lösen. Massgeblich ist vielmehr, dass nach den gesamten Umständen ein neuer Wohnsitz begründet worden ist. Niemand kann an mehreren Orten zugleich Wohnsitz haben. Der einmal begründete Wohnsitz bleibt grundsätzlich bis zum Erwerb eines neuen bestehen. Nicht entscheidend ist deshalb in der Regel, wann der Steuerpflichtige sich am bisherigen Wohnort abgemeldet oder diesen verlassen hat.
Die Steuerbehörden haben die den Steuerwohnsitz konstituierenden Sachverhaltselemente zwar von Amtes wegen abzuklären. Der Steuerwohnsitz ist als steuerbegründende Tatsache grundsätzlich von den Steuerbehörden nachzuweisen. Der Steuerpflichtige ist jedoch zur Mitwirkung und namentlich zu umfassender Auskunftserteilung über die für die Besteuerung massgebenden Umstände verpflichtet. Dass eine Wohnsitzverlegung stattgefunden hat, ist somit vom Steuerpflichtigen im Rahmen seiner Mitwirkungspflicht darzulegen. Dazu gehört nicht nur die endgültige Lösung der Verbindungen zum bisherigen Wohnsitz, sondern auch die Darstellung der Umstände, welche zur Begründung des neuen Wohnsitzes geführt haben (vgl. zum Ganzen u.a. das Bundesgerichtsurteil 2C_114/2018 vom 18. Juli 2019 E. 3.1.2 u. 3.1.3 m.w.H.).
3.
3.1. Hier hat die Vorinstanz auf der Faktenebene mehrere Feststellungen getätigt, die sich für das Bundesgericht als verbindlich erwiesen (vgl. oben E. 1.4).
3.1.1. Das Verwaltungsgericht hat namentlich geurteilt, dass die Liegenschaft in U._ nach der Abmeldung im Eigentum der Eheleute blieb und dem Sohn unentgeltlich zur Verfügung stand. Sie diente den Beschwerdeführern weiterhin als Korrespondenzadresse. Selbst die Lohnausweise der vom Gatten beherrschten GmbH lauteten auf die gleiche Adresse.
3.1.2. Der Ehemann erklärte dem Kantonalen Steueramt weiter, in der Wohnung in V._ hätten er und seine Frau sich nur zwei bis drei Wochen aufgehalten; danach seien sie nach Florida verreist, wo eine Wohnung in ihrem Eigentum stehe; nach der Rückkehr (Ende 2008) habe die Ehefrau sich für einen stationären Aufenthalt in eine Klinik im Kanton Zürich begeben; anschliessend hätten sie sich teilweise bei der Schwester des Gatten im Tessin sowie in Florida aufgehalten.
3.1.3. Weiter hat die Vorinstanz festgehalten, die Gattin habe nach ihrem Suizidversuch wohl Abstand zu ihrem Wohnort in U._ gewinnen wollen. Das tat sie neben ihrem Klinikaufenthalt im Wesentlichen durch Aufenthalte im Tessin und in Florida. Sonstige Umstände, die für einen Lebensmittelpunkt im Kanton Schwyz gesprochen hätten, vermochten die Betroffenen weder substanziiert darzutun noch zu belegen (vgl. zum Ganzen E. 3 des vorinstanzlichen Urteils).
3.2. Was die Beschwerdeführer dagegen einwenden, vermag ein anderes Ergebnis nicht zu rechtfertigen.
3.2.1. Vorab müssten sie dartun können, dass die Vorinstanz ihre Beurteilung auf eine Sachverhaltsermittlung gestützt hat, die als geradezu offensichtlich unrichtig zu bezeichnen ist (vgl. oben E. 1.4). Das gelingt ihnen nicht einmal ansatzweise. Für das Bundesgericht erweist sich die Feststellung des Verwaltungsgerichts als verbindlich, dass die Betroffenen weder objektiv noch subjektiv eine genügend starke (bzw. vorwiegende) Verbindung zum Kanton Schwyz entwickelt hatten, so dass ein Wohnsitzwechsel dorthin nicht angenommen werden konnte.
Die Beschwerdeführer vermögen insbesondere nicht zu belegen, dass sie sich genügend oft bzw. dauerhaft in ihrer jeweiligen Mietwohnung im Kanton Schwyz aufgehalten hätten, um dort ihren neuen Lebensmittelpunkt zu haben. Unzureichend angefochten ist namentlich die vorinstanzliche Feststellung, dass die Betroffenen während der hier massgeblichen Zeitspanne sich ausserhalb des Kantons Schwyz aufhielten, namentlich in ihrer Eigentumswohnung in Florida oder aber bei der Schwester des Ehemanns im Tessin, wenn die Gattin wegen ihrer psychischen Erkrankung nicht in stationärem Klinikaufenthalt (ebenfalls ausserhalb des behaupteten Wohnsitzkantons) war. Unzulänglich ist weiter das Argument, am Ende der Mietdauer in V._ seien ihnen Sachschäden in Rechnung gestellt worden, was auf eine intensive Nutzung hindeute. Dem muss indessen nicht so sein, können Schäden doch auf einen einzigen Vorfall zurückzuführen sein.
Auf der subjektiven Ebene bringen die Beschwerdeführer im Wesentlichen nur vor, in den Jahren 2008 und 2009 habe sich die psychische Erkrankung der Ehegattin deutlich verschlechtert, u.a. mit der Folge, dass sie im Einfamilienhaus in U._ nicht mehr habe leben wollen bzw. können; das sei durch ärztliche Bescheinigungen belegt. Daraus kann aber noch nicht geschlossen werden, dass die Beschwerdeführer nunmehr im Kanton Schwyz ihren neuen Lebensmittelpunkt gesehen hätten. Das gilt umso mehr, als sie dort gemäss den verwaltungsgerichtlichen Feststellungen kaum bzw. ungenügend viel Zeit verbrachten, als dass das für einen Wohnsitzwechsel hätte hinreichend sein können.
3.2.2. Die Beschwerdeführer vermögen auch nicht darzutun, dass die Vorinstanz aus ihrer Sachverhaltsermittlung bzw. Beweiswürdigung bundesrechtswidrige juristische Schlüsse gezogen hätte. Das verwaltungsgerichtliche Urteil kann somit nur bestätigt werden.
4.
Der Kanton Schwyz äussert sich zum Fall sozusagen nicht unter inhalts- bzw. wohnortsbezogenen Gesichtspunkten. Er macht aber geltend, der Kanton Zürich habe gegenüber den Beschwerdeführern seinen Besteuerungsanspruch für die Perioden 2008 und 2009 verwirkt.
4.1. Ein Kanton, der die für die Steuerpflicht erheblichen Tatsachen kennt oder kennen kann und dessen ungeachtet mit der Erhebung des Steueranspruchs ungebührlich lange zuwartet, verwirkt sein Besteuerungsrecht, wenn aufgrund des entsprechenden Steuerbezugs ein anderer Kanton (vorliegend Schwyz) zur Rückerstattung von Steuern verpflichtet werden müsste, die er formell korrekt, in guten Treuen und in Unkenntnis des kollidierenden Steueranspruchs bezogen hat (<ref-ruling> E. 3.2 S. 67; <ref-ruling> E. 3.3.4 S. 279; Urteile 2C_301/2017 vom 13. November 2017 E. 7.1; 2C_505/2015 vom 8. Dezember 2016 E. 5.2; 2C_431/2014 vom 4. Dezember 2014 E. 3.2).
4.2. Der Kanton Zürich hat sein Besteuerungsrecht nicht verwirkt. Für dessen Inanspruchnahme genügt die Einleitung des Veranlagungsverfahrens, was in der Regel durch die erste nach aussen wirksame, d.h. in der Regel schriftliche, auf die Veranlagung gerichtete Handlung der Steuerbehörde erfolgt. Als Veranlagungseinleitung und damit fristwahrend gilt praxisgemäss bereits die Zustellung der Steuererklärung an die Steuerpflichtige. Ob sich die Veranlagungshandlung anfänglich nur auf Umstände, welche eine wirtschaftliche Zugehörigkeit begründen wie Grundstücke, bezieht, ist unerheblich. Es liegt im Wesen der gemischten Veranlagung, dass die Steuerbehörde bei Einleitung der Veranlagung noch nicht umfassend darüber Bescheid weiss, welche Einkommensquellen die steuerpflichtige Person im betreffenden Jahr hatte und welche Vermögenswerte ihr zur Verfügung standen (<ref-ruling> E. 3.4 f. S. 68 ff.; zuletzt Urteil 2C_539/2017 vom 7. Februar 2019 E. 2.1). Die Zürcher Steuerbehörden haben für die Steuerperiode 2008 den Beschwerdeführern die Steuererklärung vom 30. Oktober 2009 und für die Steuerperiode 2009 am 6. Januar 2010 zugestellt. Ausreichend ist hierbei nach dem Gesagten, dass sich diese Amtshandlungen auf die Inanspruchnahme der beschränkten Steuerpflicht bezogen.
Daran ändert auch nichts, dass die Beurteilung der Eidgenössischen Steuerverwaltung in deren Verfügung vom 21. Juli 2017 für die direkte Bundessteuer (vgl. dazu oben Sachverhalt/D.) unterschiedlich ausgefallen ist.
5.
Für den Fall, dass der Besteuerungsanspruch doch dem Kanton Zürich zugesprochen würde, argumentiert der Kanton Schwyz, die Beschwerdeführer hätten ihr Beschwerderecht gegenüber den dort am 20. August 2013 ergangenen Veranlagungen verwirkt. Das habe selbst dann zu gelten, wenn es dazu führe, dass die Pflichtigen für die Perioden 2008 und 2009 in beiden Kantonen Zürich und Schwyz Kantons- sowie Gemeindesteuern zu entrichten hätten.
5.1. Gemäss der bundesgerichtlichen Rechtsprechung verwirkt die steuerpflichtige Person das Recht zur Anfechtung der Veranlagung eines Kantons, wenn sie ihre dortige Steuerpflicht in Kenntnis des kollidierenden Steueranspruchs eines andern Kantons vorbehaltlos anerkennt, indem sie sich etwa ausdrücklich oder stillschweigend der Veranlagung unterwirft, die Steuererklärung abgibt, auf eine Einsprache oder weitere Rechtsmittel verzichtet und den veranlagten Steuerbetrag bezahlt (BGE <ref-ruling> E. 3.3.3 S. 278; <ref-ruling> E. 2d S. 267).
5.2. Hier wirft der Kanton Schwyz den Beschwerdeführern nicht vor, ihre dortigen Steuern für 2008 und 2009 in Kenntnis des kollidierenden Steueranspruchs des Kantons Zürich vorbehaltlos bezahlt zu haben. Das Verwirkungsvorbringen stützt sich vielmehr auf die vom Ehemann gegenüber den Zürcher Steuerbehörden gemachten Aussagen (vgl. oben insb. E. 3.1.2).
5.2.1. Die Beschwerdeführer hätten in ihren Wohnungen im Kanton Schwyz nicht wirklich gewohnt; das hätten nur die Mitarbeiter des Kantonalen Steueramts Zürich gewusst, nicht aber die Schwyzer Behörden, welche die Beschwerdeführer für 2008 und 2009 in guten Treuen veranlagt hätten. Dem Ehemann sei aber von allem Anfang an bewusst gewesen, dass die Eheleute im falschen Kanton veranlagt würden und er habe einfach darauf vertraut, dass das nicht bekannt werde. Ein solches Verhalten sei treuwidrig und müsse zur Verwirkung des Beschwerderechts gegenüber dem Kanton Schwyz führen.
5.2.2. Dieser Argumentation kann unter den hier gegebenen Umständen nicht gefolgt werden. Die Jahre 2008 und 2009 waren für die Beschwerdeführer in erster Linie von existentiellen Ungewissheiten geprägt und mit Sorgen schwer belastet. Die Krankheit der Gattin hatte sich verschlechtert, so dass sie im seit 25 Jahren bewohnten Eigenheim nicht mehr wohnen konnte. Unter dem Druck dieser Situation und innert kurzer Zeit musste sich der Ehemann nach einem neuen Domizil umsehen, doch stellte sich heraus, dass das Leben in den beiden Wohnungen im Kanton Schwyz auch nicht möglich zu sein schien, im Gegensatz zu den zwei Orten in Florida und im Tessin. Dann verbesserte sich die Gesundheit seiner Frau wieder, so dass sie nach U._ zurückkehren konnten.
Eine aus solchen Umständen heraus getroffene Entscheidung zu einem Wohnsitzwechsel unterscheidet sich beträchtlich von anderen Entscheidungen, z.B. von einer kalkulierten, bloss formellen Sitzverlegung einer Gesellschaft in einen Kanton mit geringer (er) Steuerbelastung. Hier ist ein primär fiskalisches Kalkül ebenso wenig ersichtlich wie eine treuwidrige Verheimlichung gegenüber den Steuerbehörden. Das muss eine Verwirkung des Beschwerderechts als nicht gerechtfertigt erscheinen lassen.
6.
6.1. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit sie sich gegen den Kanton Zürich richtet. Gegenüber dem Kanton Schwyz ist sie gutzuheissen; deshalb sind die Veranlagungsverfügungen vom 20. August 2013 für die Kantons- sowie Gemeindesteuern der Perioden 2008 und 2009 aufzuheben; weiter ist dieser Kanton anzuweisen, den Beschwerdeführern die bereits bezahlten Steuern mit Zins zurückzuerstatten (vgl. oben E. 1.3).
6.2. Bei diesem Ausgang des Verfahrens obsiegen die Beschwerdeführer mit ihren Eventualanträgen. Sie haben die Hälfte der Gerichtskosten zu tragen und Anspruch auf eine reduzierte Parteientschädigung. Diese ist vom Kanton Schwyz, der Vermögensinteressen vertritt, zu entrichten, ebenso wie die andere Hälfte der Gerichtskosten (vgl. Art. 65 f. u. 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gegenüber dem Kanton Zürich abgewiesen.
2.
Die Beschwerde wird gegenüber dem Kanton Schwyz gutgeheissen. Die Veranlagungsverfügungen vom 20. August 2013 für die Perioden 2008 und 2009 werden aufgehoben. Der Kanton Schwyz wird angewiesen, den Beschwerdeführern die für die beiden Jahre bezahlten Steuern samt Zins zurückzuerstatten.
3.
Die Gerichtskosten von Fr. 7'000.-- werden zur Hälfte den Beschwerdeführern (unter solidarischer Haftbarkeit) auferlegt, zur Hälfte dem Kanton Schwyz.
4.
Der Kanton Schwyz wird angewiesen, den Beschwerdeführern eine Parteientschädigung von Fr. 3'500.-- zu entrichten.
5.
Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich, der Steuerverwaltung des Kantons Schwyz, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. September 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Zünd
Der Gerichtsschreiber: Matter