Sachverhalt: A. E._ (Kläger; Beschwerdegegner) arbeitete ab dem 1. Februar 1996 als landwirtschaftlicher Angestellter von A._ sel. (nachfolgend: der Verstorbene) beziehungsweise nach dessen Tod am 30. Juni 2011 für dessen Erben, B.A._, C.A._ (Ehefrau des Verstorbenen) und D.A._ (alle drei: Erben, Beklagte und Beschwerdeführer). Mit Schreiben vom 21. März 2012 kündigten die Erben das Arbeitsverhältnis mit dem Kläger auf den 30. Juni 2012. B. Mit Klage vom 14. Februar 2013 gelangte der Kläger an das Bezirksgericht Kulm. Er verlangte, nachdem er sein Rechtsbegehren in der Replik angepasst hatte, die Beklagten seien unter solidarischer Haftbarkeit zu verpflichten, ihm Fr. 93'880.70 abzüglich den auf Fr. 77'521.50 geschuldeten Sozialversicherungsbeiträgen und zuzüglich Zins zu bezahlen. Am 30. Juni 2014 verpflichtete das Bezirksgericht die Beklagten, dem Kläger Fr. 571.25 nebst Zins zu bezahlen. Auf Berufung des Klägers sprach ihm das Obergericht des Kantons Aargau zusätzlich zum erst instanzlich zugesprochenen Betrag Fr. 12'160.-- als Ferienabgeltungsanspruch und Fr. 73'710.70 als Freitageabgeltungsanspruch zu, jeweils abzüglich der gesetzlich geschuldeten Sozialversicherungsbeiträge und zuzüglich Zins. C. Mit Beschwerde in Zivilsachen beantragen die Beklagten dem Bundesgericht, den Entscheid des Obergerichts aufzuheben und die Klage lediglich im vom Bezirksgericht zugesprochenen Umfang gutzuheissen. Ihrem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht mit Präsidialverfügung vom 10. Dezember 2015 statt. Der Beschwerdegegner beantragt mit Eingabe vom 8. Dezember 2015, die Beschwerde kostenfällig abzuweisen. Zudem sei festzustellen, dass die Beschwerdeführer für die ihm durch das Obergericht zugesprochene Forderung solidarisch hafteten. Das Obergericht hat auf Vernehmlassung verzichtet, während die Beschwerdeführer unaufgefordert eine Beschwerdereplik eingereicht haben. Der Beschwerdegegner hat keine Gegenbemerkungen angebracht.