Sachverhalt:
A.
A.a. Im Februar 2000 logierte Y._ (Kläger, Beschwerdeführer, Beschwerdegegner) im von A.X._ und B.X._ (Beklagte, Beschwerdeführer, Beschwerdegegner) betriebenen Hotel "C._" in D._. Am 25. Februar 2000 sprang er vom Startsockel an der Breitseite des zum Hotel gehörenden Schwimmbeckens kopfüber ins Wasser und schlug mit dem Kopf am Boden des Beckens auf. Dabei brach er sich den 4. Halswirbel und ist seither vom Nacken an abwärts gelähmt (Tetraplegie). Y._ ist seit dem Unfall erwerbsunfähig und auf medizinische Hilfe angewiesen.
A.b. Am 3. Oktober 2001 ersuchte Y._ beim Bezirksgericht Schwyz um vorsorgliche Beweisabnahme, die am 22. November 2001 mittels Augenschein im Hallenbad in D._ erfolgte. Dabei wurde für den am Rand des Schwimmbeckens festgeschraubten Startsockel eine Höhe von 62.5-70 cm gemessen, für das Schwimmbecken im Sockelbereich eine Wassertiefe von 150-151.5 cm. In der Nähe des Startsockels waren folgende Hinweisschilder angebracht: "Vorsicht beim Einspringen - Tiefe 1.50".
B.
B.a. Eine von Y._ am 26. Januar 2004 gegen die Eheleute X._ eingereichte Teilklage betreffend Lohnausfall und Genugtuung wies das Bezirksgericht Schwyz am 28. September 2005 ab. Nachdem das Kantonsgericht Schwyz die vom Kläger dagegen erhobene Berufung teilweise gutgeheissen und die Sache zur Neubeurteilung an das Bezirksgericht Schwyz zurückgewiesen hatte, hiess dieses die Klage teilweise gut und sprach dem Kläger eine Genugtuung von Fr. 17'280.-- zu. Dieses Urteil ist in Rechtskraft erwachsen.
B.b. Am 29. Juni 2007 erhob der Kläger erneut Teilklage beim Bezirksgericht Schwyz und beantragte, die Beklagten seien zur Zahlung von Fr. 2'247'080.-- nebst Zins für erlittenen Haushalts-, Betreuungs- und Mobilitätsschaden sowie von Fr. 20'000.-- nebst Zins als Genugtuung zugunsten seines Sohnes zu verpflichten.
Mit Urteil vom 22. April 2009 wies das Bezirksgericht Schwyz die Klage mit der Begründung ab, es fehle an einer Vertragsverletzung sowie am Verschulden der Beklagten. Zudem sei eine Haftung aufgrund des groben Selbstverschuldens des Klägers zu verneinen.
B.c. Gegen dieses Urteil erhob der Kläger Berufung beim Kantonsgericht Schwyz. Mit Beschluss vom 16. Februar 2010 hiess das Kantonsgericht Schwyz die Berufung teilweise gut. Es hob das Urteil des Bezirksgerichts auf und wies die Sache zur Beurteilung der Schadenersatzhöhe und zu neuer Entscheidung im Sinne der Erwägungen an das erstinstanzliche Gericht zurück. Im Gegensatz zum Bezirksgericht bejahte das Kantonsgericht einen Werkmangel bzw. eine Vertragsverletzung sowie den adäquaten Kausalzusammenhang zwischen der Vertragsverletzung und dem behaupteten Schaden. Es hielt zudem die Voraussetzungen einer vollständigen Haftungsbefreiung wegen Selbstverschuldens des Klägers für nicht erfüllt. Das Bezirksgericht wurde angewiesen, die Selbstverschuldensquote nach Massgabe der konkreten Würdigung festzulegen und beim Umfang der Ersatzpflicht zu berücksichtigen.
B.d. Auf die gegen diesen Beschluss erhobene Beschwerde in Zivilsachen der Beklagten trat das Bundesgericht mit Urteil 4A_296/2010 vom 25. August 2010 nicht ein.
B.e. Mit Urteil vom 8. Juli 2011 hiess das Bezirksgericht Schwyz die Teilklage des Klägers teilweise gut und verpflichtete die Beklagten zur Zahlung von insgesamt Fr. 906'875.10 nebst Zins für den erlittenen Betreuungsschaden.
B.f. Gegen dieses Urteil erhoben beide Parteien Berufung an das Kantonsgericht Schwyz. Der Kläger beantragte die Aufhebung des Urteils des Bezirksgerichts und die Neubeurteilung der Haftungsquote. Die Beklagten beantragten die Aufhebung des Urteil des Bezirksgerichts und die Abweisung der Klage.
Mit Urteil vom 5. Juli 2013 wies das Kantonsgericht Schwyz beide Berufungen ab, soweit es auf diese eintrat.
C.
Dieses Urteil fechten beide Parteien beim Bundesgericht an.
C.a. Die Beklagten (Verfahren 4A_359/2013) beantragen dem Bundesgericht mit Beschwerde in Zivilsachen sinngemäss, es seien der Beschluss des Kantonsgerichts Schwyz vom 16. Februar 2010 und das Urteil des Kantonsgerichts Schwyz vom 5. Juli 2013 aufzuheben und es sei die Klage abzuweisen.
Der Kläger beantragt die Abweisung dieser Beschwerde. Die Vorinstanz hat auf Vernehmlassung verzichtet.
C.b. Der Kläger (Verfahren 4A_421/2013) beantragt dem Bundesgericht mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde sinngemäss, es sei das Urteil des Kantonsgerichts Schwyz aufzuheben, soweit damit seine Berufung abgewiesen worden sei, und es seien die Beklagten zur Zahlung von insgesamt Fr. 2'282'028.70 nebst Zins zu verurteilen.
Die Beklagten beantragen, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Die Vorinstanz hat auf Vernehmlassung verzichtet.

Erwägungen:
1.
Den Beschwerden in den Verfahren 4A_359/2013 und 4A_421/2013 liegt derselbe Lebenssachverhalt zugrunde und am vorinstanzlichen Verfahren waren dieselben Parteien beteiligt. Es rechtfertigt sich damit, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu behandeln (vgl. <ref-ruling> E. 1 S. 126 mit Hinweisen).
2.
Angefochten ist ein verfahrensabschliessender Entscheid (<ref-law>) einer oberen kantonalen Instanz, die auf die Rechtsmittel der Parteien hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>), die Rechtsbegehren sowohl des Klägers als auch der Beklagten sind im kantonalen Verfahren je nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist je eingehalten (Art. 100 Abs. 1 i.V.m. <ref-law>).
Was den Rückweisungsbeschluss des Kantonsgerichts Schwyz vom 16. Februar 2010 angeht, so ergibt sich aus den Anträgen der Beklagten zwar nicht ausdrücklich, dass auch dieser mitangefochten ist. Dies schadet jedoch nicht, sofern die Beschwerdeschrift eine rechtsgenügende und klar gegen den Zwischenentscheid gerichtete Begründung enthält (vgl. Urteil 4A_424/2011 vom 2. November 2011 E. 1.5.1). Die Beklagten erklären klar, dass die Vorinstanz in ihrem Urteil auf den Beschluss vom 16. Februar 2010 verweise und diesen gar zum integrierenden Bestandteil erklärt habe, weshalb sie sich auch mit den Erwägungen dieses Beschlusses auseinandersetzen würden. Die Beklagten rügen denn auch einzig, die Vorinstanz habe die Vertragsverletzung und die Kausalität zu Unrecht bejaht. Da die Vorinstanz die Frage der Vertragsverletzung der Beklagten in ihrem Rückweisungsbeschluss vom 16. Februar 2010 abschliessend behandelt und sich im Urteil vom 5. Juli 2013 nur noch mit der Höhe des Schadens befasst hat, ist davon auszugehen, dass die Beklagten auch den Beschluss vom 16. Februar 2010 anfechten. Das Bundesgericht ist auf die Beschwerde der Beklagten gegen diesen Beschluss nicht eingetreten, da es die Voraussetzungen von <ref-law> für die Anfechtung des Zwischenentscheids nicht erfüllt sah (Urteil 4A_296/2010 vom 25. August 2010). Der Rückweisungsbeschluss kann daher grundsätzlich mit der vorliegenden Beschwerde gegen den Endentscheid angefochten werden, soweit er sich auf den Inhalt des Endentscheids ausgewirkt hat (<ref-law>).
Damit erweisen sich beide Beschwerden in Zivilsachen als zulässig und es ist unter Vorbehalt einer rechtsgenügenden Begründung (Art. 42 Abs. 2 i.V.m. <ref-law>) auf sie einzutreten. Auf die subsidiäre Verfassungsbeschwerde des Klägers ist folglich nicht einzutreten (<ref-law>).
3.
Die Beklagten rügen eine Verletzung von <ref-law>. Entgegen der Ansicht der Vorinstanz hätten sie den Vertrag mit dem Kläger nicht verletzt.
3.1. Die Vorinstanz hat in ihrem Urteil vom 5. Juli 2013 ausgeführt, die Haftung der Beklagten sei bereits im Rückweisungsbeschluss vom 16. Februar 2010 bejaht worden. An diese Rechtsauffassung sei sie im zweiten Rechtsgang gebunden. In ihrem Beschluss vom 16. Februar 2010 hat die Vorinstanz eine Vertragsverletzung der Beklagten mit der Begründung bejaht, ein am Bassinrand festgeschraubter Startsockel mit einer Höhe von über 60 cm bei einer Wassertiefe des Schwimmbeckens von rund 1.50 m in einem für die Öffentlichkeit zugänglichen Schwimmbad stelle ausserhalb des Wettkampfbetriebs einen Werkmangel dar. Nach den im Zeitpunkt des Unfalles geltenden Sicherheitsempfehlungen der Beratungsstelle für Unfallverhütung (bfu) für Planung, Bau und Betrieb von Hallen- und Freibädern aus dem Jahr 1999 müssten allfällige Startsockel ausserhalb des Wettkampfbetriebs zwar nur bei einer Wassertiefe von weniger als 1.40 m entfernt werden. Die Verwendung fest montierter Sockel sei jedoch erst ab einer Tiefe von mehr als 1.80 m gestattet. Daraus folge, dass Sockel bei Publikumsbetrieb sowie nicht ausreichender Wassertiefe hätten entfernt werden müssen. Da die Empfehlungen bei einer Wassertiefe über 1.40 m bis 1.80 m offensichtlich widersprüchlich seien, könnten die Beklagten nicht geltend machen, sie hätten in guten Treuen auf die entlastende Wirkung der für sie günstigeren Norm vertraut. Die Kombination von Sprungsockel und ungenügender Wassertiefe stelle einen Werkmangel i.S.v. <ref-law> dar, der zugleich als Vertragsverletzung i.S.v. <ref-law> anzusehen sei. Dieser Mangel könne nicht mit dem Warnhinweis "Vorsicht beim Einspringen - Tiefe 1.50" geheilt werden. Die Vertragsverletzung sei somit zu bejahen.
3.2. Dagegen bringen die Beklagten vor, der Eigentümer eines Werks sei nicht verpflichtet, jeder nur denkbaren Gefahr vorzubeugen, sondern nur jenen Gefahren, welche sich aus dem normalen Gebrauch des Werks ergeben würden. Das Bundesgericht habe sich in einem ähnlichen Fall (Urteil 4A_458/2008 vom 21. Januar 2009) auf die FINA-Regeln gestützt, welche bei einer Absprunghöhe von 50-75 cm eine Wassertiefe von mindestens 1.40 m forderten. Die Beklagten hätten somit die Vorschriften des FINA-Regelwerks eingehalten. Die angebliche Empfehlungslücke der bfu-Richtlinien habe die Vorinstanz in Eigenregie mit überspitzten Anforderungen gefüllt. Ein Aufschlag auf dem Boden des Schwimmbeckens mit derart grosser Energie, dass sich der Kläger einen Halswirbel gebrochen habe, könne nur mit einem aussergewöhnlich fatalen Sprung erklärt werden. Anders sei nicht erklärbar, dass sich in der betreffenden Anlage trotz stets gleichen Sicherheitsstandards während über 40 Jahren unbestrittenermassen kein weiterer derartiger Unfall ereignet habe. Die Vorinstanz habe überspitzte Sorgfaltsanforderungen an die Werkeigentümer bzw. Vertragspartner gestellt.
3.3. Wer gegen Entgelt ein öffentliches Schwimmbad nützt, schliesst mit den Betreibern dieses Schwimmbads einen Innominatkontrakt, der dem Gastaufnahmevertrag ähnelt (<ref-ruling> E. 1b S. 426 mit Hinweisen). Die sich daraus ergebenden Pflichten der Betreiber gelten auch im Rahmen eines Innominatkontrakts, der sowohl den Aufenthalt in einem Hotel als auch die Benützung des hoteleigenen Schwimmbads zum Inhalt hat. Erfüllen die Betreiber den Vertrag überhaupt nicht oder nicht gehörig, so haben sie für den daraus entstehenden Schaden Ersatz zu leisten, sofern sie nicht beweisen, dass ihnen keinerlei Verschulden zur Last fällt (<ref-law>). Die Betreiber eines öffentlichen Schwimmbads müssen dem Benützer die Einrichtung so zur Verfügung stellen, dass dieser dabei keinen gesundheitlichen Schaden nimmt (<ref-ruling> E. 1c S. 427). Treffen sie nicht alle durch die Umstände gebotenen Vorkehrungen, um die nötige Sicherheit zu gewährleisten, so erfüllen sie ihre Verpflichtungen nicht (<ref-ruling> E. 1c S. 427).
Da die Vertragshaftung nicht zu höheren Anforderungen an die Sicherheit eines Schwimmbads führt als die ausservertragliche Haftung (vgl. <ref-ruling> E. 2a/bb S. 115 und <ref-ruling> E. 7 S. 250 zur Verkehrssicherungspflicht), kann auch auf die bundesgerichtliche Rechtsprechung zur Werkeigentümerhaftung nach <ref-law> abgestellt werden. Ein Werkmangel i.S.v. <ref-law> liegt vor, wenn das Werk beim bestimmungsgemässen Gebrauch keine genügende Sicherheit bietet (<ref-ruling> E. 1.3 S. 741 f.; <ref-ruling> E. 2a/cc S. 116, je mit Hinweisen). Eine Schranke der Sicherungspflicht bildet die Selbstverantwortung. Vorzubeugen hat der Werkeigentümer nicht jeder erdenklichen Gefahr (<ref-ruling> E. 1.3 S. 742; <ref-ruling> E. 3b/aa S. 311). Er darf Risiken ausser Acht lassen, welche von den Benützern des Werks oder von Personen, die mit dem Werk in Berührung kommen, mit einem Mindestmass an Vorsicht vermieden werden können (<ref-ruling> E. 1.3 S. 742; <ref-ruling> E. 2a/cc S. 116; <ref-ruling> E. 2 S. 400, je mit Hinweisen).
3.4. Für die Bestimmung der Anforderungen an die Sicherheit eines Schwimmbads kann sowohl auf die Sicherheitsempfehlungen der Beratungsstelle für Unfallverhütung (bfu) für Planung, Bau und Betrieb von Hallen- und Freibädern (nachfolgend: bfu-Empfehlungen) als auch auf das Reglement des Schweizerischen Schwimmverbands über die Anforderungen an Wettkampfanlagen (nachfolgend: SSCHV-Reglement) abgestellt werden, je in der im Zeitpunkt des Unfalles gültigen Version. Das SSCHV-Reglement entspricht dabei den Vorschriften der Fédération Internationale de Natation (FINA; nachfolgend: FINA-Vorschriften). Sowohl das SSCHV-Reglement als auch die FINA-Vorschriften sind jedermann zugänglich, müssen als notorische Tatsachen weder behauptet noch bewiesen werden (<ref-ruling> E. 4.1 S. 89 mit Hinweisen) und sind im Verfahren vor Bundesgericht von Amtes wegen zu berücksichtigen (vgl. Urteil 4A_412/2011 vom 4. Mai 2012 E. 2.2 mit Hinweisen, nicht publ. in: <ref-ruling>). Obwohl die erwähnten Empfehlungen und Vorschriften kein objektives Recht darstellen, erfüllen sie eine wichtige Konkretisierungsfunktion im Hinblick auf die inhaltliche Ausgestaltung der Pflichten von Schwimmbadbetreibern (vgl. zur Verkehrssicherungspflicht <ref-ruling> E. 2.3 S. 196 f.; <ref-ruling> E. 2b S. 116, je mit Hinweisen).
3.4.1. Nach den bfu-Empfehlungen müssen bei einer Wassertiefe von weniger als 1.40 m allfällige Startsockel ausserhalb des Wettkampfbetriebs entfernt werden. Umgekehrt sollen fest montierte Sockel erst ab einer Tiefe von mehr als 1.80 m verwendet werden.
Nach Ziffern 2.7.2 und 2.7.6 des SSCHV-Reglements muss die Wassertiefe bei einer Absprunghöhe von 0.50 m bis 0.75 m mindestens 1.40 m betragen. Die minimale Wassertiefe darf aus Sicherheitsgründen nur dann um höchstens 0.20 m unterschritten werden, wenn die Startblöcke demontierbar sind und für den regulären Publikumsbetrieb auch tatsächlich demontiert werden (Ziffern 2.3.1 und 2.7.6 SSCHV-Reglement).
3.4.2. Die Vorinstanz ging zutreffend davon aus, dass die bfu-Empfehlungen für eine Wassertiefe von 1.40 m bis 1.80 m keine Regelung enthalten. Daraus folgerte sie, die Beklagten hätten nicht in guten Treuen auf die entlastende Wirkung der für sie günstigeren Norm vertrauen dürfen. Für die Auslegung der unklaren bfu-Empfehlungen darf aber auch das SSCHV-Reglement berücksichtigt werden. Dieses enthält keine Regel, wonach fest montierte Sockel eine Mindesttiefe von 1.80 m voraussetzen würden. Auch nach dem SSCHV-Reglement müssen aber demontierbare Startblöcke lediglich bei einer Wassertiefe von unter 1.40 m entfernt werden. Wie die Beklagten ausführen, hatte das Bundesgericht kürzlich einen ähnlichen Sachverhalt zu beurteilen (Urteil 4A_458/2008 vom 21. Januar 2009). In diesem Fall verunfallte ein Gast eines Strandbads im Juli 1998 nach einem Kopfsprung von einem Steg in den See. Zu beurteilen war zwar nicht die Vertragsverletzung, sondern der natürliche Kausalzusammenhang, da umstritten war, ob sich der Verunfallte seine Verletzungen bei einem Kopfaufschlag auf dem Seegrund zugezogen hatte oder durch auf ihn gesprungene Kinder. Das Bundesgericht hatte aber Gelegenheit, sich zur Auslegung des SSCHV-Reglements zu äussern. Es führte Folgendes aus: "Die von der Vorinstanz herangezogenen Sicherheitsvorschriften sehen vor, dass "bei normalem Publikumsbetrieb" die Startblöcke demontiert werden müssen, wenn die Wassertiefe 1.20 m bis 1.40 m beträgt (Ziffer 2.3.1 und Ziffer 2.7.6 SSCHV-Reglement). Daraus ergibt sich, dass nach den zitierten Sicherheitsvorschriften eine Wassertiefe von 1.40 m auch bei normalem Publikumsbetrieb, also der Benutzung der Startblöcke durch Nicht-Wettkampfschwimmer, die nicht nur ganz flache Kopfsprünge ausüben, genügt, um die Sicherheit zu gewährleisten." Es besteht vorliegend kein Grund, um von dieser Auslegung abzuweichen. Demnach durften die Beklagten als Schwimmbadbetreiber davon ausgehen, dass ein Schwimmbad mit einer Wassertiefe von vorliegend über 1.50 m bei bestimmungsgemässem Gebrauch der Startblöcke mit einer Höhe von 62.5-70 cm genügende Sicherheit bietet. Wie das tragische Einzelschicksal des Klägers zeigt, verbleibt auch bei Einhaltung der Sicherheitsvorschriften ein Restrisiko. Dieses kann aber nicht den Beklagten überbunden werden. Die Vorinstanz hat somit <ref-law> verletzt, indem sie eine Vertragsverletzung der Beklagten bejaht hat.
4.
4.1. Nach dem Gesagten ist die Beschwerde der Beklagten (Verfahren 4A_359/2013) gutzuheissen und der Beschluss des Kantonsgerichts Schwyz vom 16. Februar 2010 und das Urteil des Kantonsgerichts Schwyz vom 5. Juli 2013 sind aufzuheben. Die Klage ist abzuweisen.
Diesem Ausgang entsprechend wird der Kläger für das bundesgerichtliche Verfahren 4A_359/2013 kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG). Zur Neuverlegung der Kosten des kantonalen Verfahrens ist die Sache an die Vorinstanz zurückzuweisen (<ref-law>).
4.2. Auf die subsidiäre Verfassungsbeschwerde des Klägers (Verfahren 4A_421/2013) ist nicht einzutreten.
Was die Beschwerde in Zivilsachen des Klägers angeht, so entfällt mit der Aufhebung des vorinstanzlichen Entscheids deren Anfechtungsobjekt, womit sie gegenstandslos wird (vgl. Urteil 4A_288/2011 vom 13. Februar 2012 E. 5, nicht publ. in: <ref-ruling>).
Da dem Bundesgericht für die Behandlung der Beschwerden des Klägers kaum Aufwand entstanden ist, wird auf die Erhebung von Gerichtskosten ausnahmsweise verzichtet (Art. 66 Abs. 1 zweiter Satz BGG). Hingegen hat der Kläger die Beklagten, die eine Vernehmlassung eingereicht haben, für dieses Verfahren zu entschädigen. Da jedoch dem vom Kläger angehobenen Verfahren 4A_421/2013 derselbe Lebenssachverhalt und dasselbe vorinstanzliche Verfahren zugrunde liegen wie dem von den Beklagten angehobenen Verfahren 4A_359/2013, rechtfertigt es sich, im Verfahren 4A_421/2013 eine reduzierte Parteientschädigung zuzusprechen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 4A_359/2013 und 4A_421/2013 werden vereinigt.
2.
Die Beschwerde der Beklagten (4A_359/2013) wird gutgeheissen und der Beschluss des Kantonsgerichts Schwyz vom 16. Februar 2010 und das Urteil des Kantonsgerichts Schwyz vom 5. Juli 2013 werden aufgehoben. Die Klage wird abgewiesen.
3.
Auf die subsidiäre Verfassungsbeschwerde des Klägers (4A_421/2013) wird nicht eingetreten.
4.
Die Beschwerde in Zivilsachen des Klägers (4A_421/2013) wird als gegenstandslos abgeschrieben.
5.
Die Sache wird zur Neuverlegung der Kosten des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
6.
Die Gerichtskosten des Verfahrens 4A_359/2013 von Fr. 13'000.-- werden dem Kläger auferlegt. Im Verfahren 4A_421/2013 wird auf die Erhebung von Gerichtskosten verzichtet.
7.
Der Kläger hat die Beklagten für das bundesgerichtliche Verfahren mit insgesamt 20'000.-- zu entschädigen.
8.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 13. Januar 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier