Sachverhalt: Sachverhalt: A. A.a Y._ (Beschwerdegegner) und C._, Alleinaktionär der D._ AG mit Sitz in O._, später P._, schlossen am 1. März 1989 einen Treuhandvertrag ab, in dem sich der Beschwerdegegner zur Übernahme und fiduziarischen Ausübung des Mandats als Verwaltungsratspräsident der D._ AG verpflichtete. Am 27. Februar 1997 wurde C._ zum geschäftsleitenden Direktor der D._ AG mit Einzelunterschrift ernannt. Der Beschwerdegegner legte sein Verwaltungsratsmandat im April 2001 nieder und am 28. Mai 2001 wurde über die D._ AG der Konkurs eröffnet. C._ schloss mit einer unbestimmten Anzahl vorwiegend in Deutschland ansässiger Anleger nach dem sogenannten "Schneeball-System" Treuhand- und Vermögensverwaltungsverträge mit fixen Erfolgsprämien ab. Die Verträge wurden teilweise im Namen der D._ AG, teilweise für in Luxemburg und New York domizilierte Gesellschaften zumeist von ihm als "Vermittler" bzw. einer weiteren Person unterzeichnet. Die Einlagen der Anleger erfolgten in bar oder als Überweisungen auf schweizerische und deutsche Bank- und Postkonten, an denen die D._ AG nicht wirtschaftlich berechtigt war. C._ wurde in Deutschland wegen Betrugs zu einer Freiheitsstrafe von dreieinhalb Jahren verurteilt. Das gegen ihn geführte Strafverfahren in der Schweiz wurde mit Verfügung des Verhöramts des Kantons Schwyz vom 5. März 2004 eingestellt. A.b A.X._ und B.X._ (Beschwerdeführer), E._, F.H._ und G.H._ sowie K._ sind im Konkurs der D._ AG mit Forderungen über insgesamt Fr. 448'602.40 rechtskräftig in der 3. Klasse kolloziert. Das Konkursamt Goldau trat ihnen am 4. Dezember 2001 die unter den Nummern 305 - 308 inventarisierten Verantwortlichkeitsansprüche gestützt auf Art. 260 SchKG ab. A.b A.X._ und B.X._ (Beschwerdeführer), E._, F.H._ und G.H._ sowie K._ sind im Konkurs der D._ AG mit Forderungen über insgesamt Fr. 448'602.40 rechtskräftig in der 3. Klasse kolloziert. Das Konkursamt Goldau trat ihnen am 4. Dezember 2001 die unter den Nummern 305 - 308 inventarisierten Verantwortlichkeitsansprüche gestützt auf Art. 260 SchKG ab. B. Die Beschwerdeführer, E._, F.H._ und G.H._ sowie K._ erhoben am 3. September 2002 beim Bezirksgericht Schwyz Klage gegen die Revisionsstelle der Gesellschaft sowie gegen den Beschwerdegegner. Sie beantragten die Zahlung von Fr. 620'000.-- nebst Zins aus aktienrechtlicher Verantwortlichkeit. Mit Urteil vom 28. Juni 2005 hiess das Bezirksgericht die Klage gegen den Beschwerdegegner gut (Ziff. 1), entlastete die Revisionsstelle von einer Verantwortlichkeit (Ziff. 1) und regelte die Kostenfolgen (Ziff. 2/3). Gegen dieses Urteil gelangte der Beschwerdegegner an das Kantonsgericht Schwyz mit dem Begehren, Ziff. 1, Ziff. 2 Abs. 1 und 2 sowie Ziff. 3 Abs. 2 des angefochtenen Urteils aufzuheben und die Klage vollumfänglich abzuweisen. Das Kantonsgericht hat am 25. Juli 2006 die kantonale Berufung teilweise gutgeheissen und die Klage in Aufhebung der Dispositivziffern 1, 2 und 3 Abs. 2 des angefochtenen Urteils abgewiesen. Es erachtete die kantonale Berufung in der Sache als vollumfänglich, betreffend vorinstanzlicher Kostenpunkte jedoch als nur teilweise begründet. Gegen dieses Urteil gelangte der Beschwerdegegner an das Kantonsgericht Schwyz mit dem Begehren, Ziff. 1, Ziff. 2 Abs. 1 und 2 sowie Ziff. 3 Abs. 2 des angefochtenen Urteils aufzuheben und die Klage vollumfänglich abzuweisen. Das Kantonsgericht hat am 25. Juli 2006 die kantonale Berufung teilweise gutgeheissen und die Klage in Aufhebung der Dispositivziffern 1, 2 und 3 Abs. 2 des angefochtenen Urteils abgewiesen. Es erachtete die kantonale Berufung in der Sache als vollumfänglich, betreffend vorinstanzlicher Kostenpunkte jedoch als nur teilweise begründet. C. Mit staatsrechtlicher Beschwerde beantragen die Beschwerdeführer, das Urteil des Kantonsgerichts vom 25. Juli 2006 in Sachen der Parteien aufzuheben und das Urteil des Bezirksgerichts vom 28. Juni 2005 für den Betrag von Fr. 161'114.25 zu bestätigen; eventuell sei die Sache an die Vorinstanz zurückzuweisen. Das Kantonsgericht und der Beschwerdegegner beantragen in ihren Vernehmlassungen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Parallel zur staatsrechtlichen Beschwerde haben die Beschwerdeführer in gleicher Sache eidgenössische Berufung eingelegt.