Sachverhalt: A. A.a. C._ (Beklagter, Beschwerdegegner) ist Gründer und war Mehrheitsaktionär der B._ AG (Klägerin 2, Beschwerdeführerin 2). Mit Aktienkaufvertrag vom 24. August 2004 erwarb A._ (Kläger 1, Beschwerdeführer 1) von C._ ein Aktienpaket von 10 % der B._ AG mit einem Vorkaufsrecht bei einem allfälligen Verkauf oder Teilverkauf des Aktienmehrheitspakets. Später erwarb A._ von C._ nochmals eine Beteiligung von 10 %. Ab dem 1. November 2004 war A._ CEO und Geschäftsführer der B._ AG. A.b. Anlässlich eines Kaufangebots der Interessenten D._ und E._ im Sommer 2007 (nachfolgend: D._/E._-Angebot), welche 70 % der Aktien der B._ AG für einen Preis von Fr. 2,45 Mio. erwerben wollten, übte A._ sein Vorkaufsrecht aus. Der Vorkaufsfall wurde von C._ aber nicht anerkannt. Am 5. November 2007 schlossen C._ und der Interessent F._ einen Aktienkaufvertrag ab (nachfolgend: F._-Vertrag), der eine Übernahme von 80 % der Aktien der B._ AG zu einem festen Preis von Fr. 3 Mio. vorsah. A._ übte sein Vorkaufsrecht aus und erwarb die Aktien zum Preis von Fr. 3 Mio. A.c. In der Folge klagte A._ gegen C._ auf Zahlung von Schadenersatz für die Preisdifferenz zwischen dem D._/E._-Angebot und dem F._-Vertrag. Anlässlich einer Referentenaudienz vom 23. April 2010 schlossen A._ und C._ einen Vergleich mit folgendem Wortlaut: "1. Der Kläger reduziert die eingeklagte Forderung auf Fr. 112'500.-- netto und der Beklagte anerkennt sie in diesem Umfang. 2. Der Beklagte verpflichtet sich, die anerkannte Summe bis spätestens zum 14. Mai 2010 dem Kläger auf sein Konto bei der Bank G._ (...) zu bezahlen. 3. Der Beklagte tritt mit der Unterzeichnung dieses Vergleichs seine Darlehensforderung mit sämtlichen Nebenrechten gegenüber der B._ Deutschland GmbH an den Kläger ab. Jede Gewährleistung ist wegbedungen. 4. Die Parteien übernehmen die gerichtlichen Verfahrenskosten je zur Hälfte und verzichten gegenseitig auf Prozessentschädigung. 5. Mit Erfüllung dieses Vergleichs sind der Kläger und der Beklagte einerseits und die B._ AG sowie die B._ Deutschland GmbH andererseits per Saldo aller Ansprüche gegenseitig vollständig auseinandergesetzt. 6. Auf diesen Vergleich ist schweizerisches Recht anwendbar." Die Darlehensforderung nach Ziff. 3 des Vergleichs betrug nach Abzug von Gegenansprüchen rund EUR 75'000.--, womit die Vergleichssumme etwas über Fr. 200'000.-- betrug. A.d. Nach Abschluss des Vergleichs entstand zwischen C._ einerseits sowie A._ und der B._ AG andererseits ein Streit darüber, ob sich die Saldoklausel im Vergleich vom 23. April 2010 auch auf drei noch hängige arbeitsrechtliche Prozesse erstrecke. In diesen Prozessen trat die B._ AG jeweils als Klägerin auf; Beklagte waren die ehemaligen Mitarbeiter H._, J._ und K._. Der F._-Vertrag hatte vorgesehen, dass diese drei Verfahren sowie ein deutsches Verfahren von der B._ AG gemäss den Instruktionen und auf Kosten von C._ weitergeführt würden, wobei das Prozessergebnis ebenfalls zugunsten resp. zulasten von diesem gehen sollte. Nach Eintritt von A._ in den F._-Vertrag hatte C._ die Prozesse selber auf eigene Kosten im Namen der B._ AG weitergeführt. A.e. Im Zeitpunkt des Vergleichsabschlusses am 23. April 2010 war das Verfahren gegen Herrn H._ vor dem Obergericht des Kantons Zürich pendent. Mit Urteil vom 20. Mai 2011 bestätigte dieses das Urteil des Arbeitsgerichts Zürich, das die Klage der B._ AG gegen Herrn H._ abgewiesen, dessen Widerklage teilweise gutgeheissen und die B._ AG zur Zahlung von Fr. 126'038.40 verpflichtet hatte. Die Verfahren gegen die Herren J._ und K._ sind erstinstanzlich noch nicht entschieden. Über den Prozess in Deutschland ist nichts bekannt. A._ und die B._ AG verlangen nun von C._ die Rückerstattung der Kosten, die der B._ AG im Zusammenhang mit dem Prozess gegen Herrn H._ entstanden sind. C._ beruft sich auf das Erlöschen aller gegen ihn bestehenden Ansprüche als Folge der Saldoklausel. B. B.a. Mit Klage vom 16. August 2011 beantragten A._ und die B._ AG dem Bezirksgericht Zürich, C._ sei zur Zahlung von Fr. 32'316.45 (Honorar Rechtsanwalt), Fr. 228'703.20 (Widerklageanspruch H._ inkl. die an diesen bezahlte Parteientschädigung), Fr. 14'566.90 (zusätzliches Honorar Rechtsanwalt), Fr. 58'565.-- (Gerichtskosten Arbeitsgericht) und Fr. 24'300.-- (Gerichtskosten Obergericht), je nebst Zins, an die B._ AG zu verurteilen. Mit Urteil vom 17. Januar 2014 hiess das Bezirksgericht Zürich die Klage gut. B.b. Dagegen erhob C._ Berufung beim Obergericht des Kantons Zürich und beantragte, das Urteil des Bezirksgerichts sei aufzuheben und die Klage sei abzuweisen. Mit Urteil vom 10. September 2014 hiess das Obergericht des Kantons Zürich die Berufung gut und wies die Klage ab. C. Mit Beschwerde in Zivilsachen vom 15. Oktober 2014 beantragen A._ und die B._ AG dem Bundesgericht, es sei das Urteil des Obergerichts des Kantons Zürich aufzuheben und es sei C._ zu verpflichten, der B._ AG insgesamt Fr. 358'151.55 nebst Zins zu bezahlen. Der Beschwerdegegner beantragt die Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Vorinstanz hat auf Vernehmlassung verzichtet.