Sachverhalt: A. A.a. Die Z._ AG (Beschwerdegegnerin) mit Sitz in L._ wurde am 25. März 2004 gegründet und am 29. März 2004 ins Handelsregister eingetragen. Der Gründungsversammlung wohnten A._ (Beschwerdeführer 1), D._ und E._ bei. A._ zeichnete 749'998 Aktien mit einem Nominalwert von je Fr. 1.--, D._ und E._ übernahmen je eine Aktie. Die Gründung der Klägerin erfolgte treuhänderisch für den heutigen Alleinaktionär Dr. F._. In der Folge wurden A._, B._ (Beschwerdeführer 2) und C._ (Beschwerdeführer 3) in den Verwaltungsrat der Gesellschaft bestellt. Mit Beschluss des Verwaltungsrats der Z._ AG vom 29. März 2004 wurde B._ zum Geschäftsführer der Gesellschaft ernannt. Der Geschäftsführervertrag sah den Beginn des Vertragsverhältnisses auf den 1. April 2004 vor und wurde auf unbestimmte Zeit abgeschlossen, wobei eine Kündigungsfrist von sechs Monaten auf das Ende eines jeden Monats, erstmals auf den 31. Dezember 2004, vereinbart wurde. A.b. Anlässlich einer Sitzung in M._ vom 27. April 2004 forderte G._, der Anlageberater von Dr. F._, die Herausgabe der Aktienzertifikate. A._ verweigerte dies. Mit Schreiben vom 28. April 2004 an A._ ersuchte der heutige Rechtsvertreter der Z._ AG um Durchführung einer Generalversammlung zwecks Abwahl/Neuwahl des Verwaltungsrats sowie Liquidation der Gesellschaft und Wahl des Liquidators. Mit Schreiben vom 29. April 2004, unterzeichnet von A._, teilte die H._ AG G._ mit, dass die Inhaberaktien der Z._ AG bis auf weiteres nicht herausgegeben und niemandem zugestellt würden, da nach wie vor erhebliche Zweifel an der Identität des wirtschaftlich Berechtigten bestünden. Am 18. Mai 2004 und 7. Juni 2004 stellten die H._ AG und B._ der Z._ AG Rechnung in der Höhe von 230'000.-- Euro bzw. Fr. 120'000.--. Die entsprechenden Belastungen, zuzüglich Fr. 15.-- Spesen, ab dem Gesellschaftskonto Nr. xxx bei der Bank Y._ erfolgten per 21. Mai 2004 und 8. Juni 2004. An der ausserordentlichen Generalversammlung vom 11. Juni 2004 nahmen neben der Protokollführerin I._ die drei Verwaltungsräte, G._ und teilweise auch der heutige Rechtsvertreter der Gesellschaft teil. A._, B._ und C._ traten als Verwaltungsräte der Z._ AG zurück und G._ wurde zum neuen Verwaltungsrat gewählt. Dieser entliess B._ in der Folge aus seiner Tätigkeit als Geschäftsführer der Gesellschaft. A.c. Mit Urteil vom 28. August 2008 sprach das Kantonale Strafgericht Schwyz A._, B._ und C._ von der Anklage der mehrfachen Veruntreuung i.S.v. Art. 138 Ziff. 1 Abs. 2 StGB, evtl. der mehrfachen ungetreuen Geschäftsbesorgung i.S.v. Art. 158 Ziff. 1 Abs. 1 und 3 StGB frei. B. B.a. Mit Klage vom 18. Oktober 2009 beantragte die Z._ AG dem Bezirksgericht Höfe, es seien A._, B._ und C._ zur Zahlung eines Betrags von Fr. 500'000.-- nebst Zins zu 5 % seit 9. Juni 2004 zu verurteilen. Mit Urteil vom 26. März 2012 verurteilte das Bezirksgericht Höfe die Beklagten, der Klägerin - je unter solidarischer Haftung für den Gesamtbetrag - Fr. 499'847.-- zuzüglich 5 % Zins seit 9. Juni 2004 zu bezahlen. B.b. Mit Urteil vom 9. Juli 2013 wies das Kantonsgericht Schwyz die Berufung der Beklagten gegen das bezirksgerichtliche Urteil ab, soweit es darauf eintrat. C. Mit Beschwerde in Zivilsachen beantragen A._, B._ und C._ dem Bundesgericht, es sei das Urteil des Kantonsgerichts Schwyz aufzuheben und die Klage vollumfänglich abzuweisen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Z._ AG beantragt in ihrer Vernehmlassung die Abweisung der Beschwerde, soweit Eintreten. Die Vorinstanz hat auf Vernehmlassung verzichtet. Die Parteien haben repliziert und dupliziert. D. Mit Präsidalverfügung vom 31. Oktober 2013 wurde das Gesuch der Beschwerdegegnerin um Sicherstellung einer allfälligen Parteientschädigung abgewiesen. Mit Präsidialverfügung vom 6. Januar 2014 wurde das Gesuch der Beschwerdeführerin um Gewährung der aufschiebenden Wirkung abgewiesen.