Sachverhalt:
A.
E._ (Kläger; Beschwerdegegner) arbeitete ab dem 1. Februar 1996 als landwirtschaftlicher Angestellter von A._ sel. (nachfolgend: der Verstorbene) beziehungsweise nach dessen Tod am 30. Juni 2011 für dessen Erben, B.A._, C.A._ (Ehefrau des Verstorbenen) und D.A._ (alle drei: Erben, Beklagte und Beschwerdeführer). Mit Schreiben vom 21. März 2012 kündigten die Erben das Arbeitsverhältnis mit dem Kläger auf den 30. Juni 2012.
B.
Mit Klage vom 14. Februar 2013 gelangte der Kläger an das Bezirksgericht Kulm. Er verlangte, nachdem er sein Rechtsbegehren in der Replik angepasst hatte, die Beklagten seien unter solidarischer Haftbarkeit zu verpflichten, ihm Fr. 93'880.70 abzüglich den auf Fr. 77'521.50 geschuldeten Sozialversicherungsbeiträgen und zuzüglich Zins zu bezahlen. Am 30. Juni 2014 verpflichtete das Bezirksgericht die Beklagten, dem Kläger Fr. 571.25 nebst Zins zu bezahlen. Auf Berufung des Klägers sprach ihm das Obergericht des Kantons Aargau zusätzlich zum erst instanzlich zugesprochenen Betrag Fr. 12'160.-- als Ferienabgeltungsanspruch und Fr. 73'710.70 als Freitageabgeltungsanspruch zu, jeweils abzüglich der gesetzlich geschuldeten Sozialversicherungsbeiträge und zuzüglich Zins.
C.
Mit Beschwerde in Zivilsachen beantragen die Beklagten dem Bundesgericht, den Entscheid des Obergerichts aufzuheben und die Klage lediglich im vom Bezirksgericht zugesprochenen Umfang gutzuheissen. Ihrem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht mit Präsidialverfügung vom 10. Dezember 2015 statt. Der Beschwerdegegner beantragt mit Eingabe vom 8. Dezember 2015, die Beschwerde kostenfällig abzuweisen. Zudem sei festzustellen, dass die Beschwerdeführer für die ihm durch das Obergericht zugesprochene Forderung solidarisch hafteten. Das Obergericht hat auf Vernehmlassung verzichtet, während die Beschwerdeführer unaufgefordert eine Beschwerdereplik eingereicht haben. Der Beschwerdegegner hat keine Gegenbemerkungen angebracht.
Erwägungen:
1.
Dem angefochtenen Entscheid ist nicht zu entnehmen, dass der Beschwerdegegner seinen vor Bundesgericht als Feststellungsbegehren formulierten Antrag so bereits im kantonalen Verfahren gestellt hätte. Als eigentliches Feststellungsbegehren wäre der Antrag daher neu und damit unzulässig (Art. 99 BGG). Selbst wenn der Beschwerdegegner mit seinem Antrag entgegen dem Wortlaut keine eigentliche Feststellung anstreben sollte, sondern lediglich wie bereits vor der Vorinstanz die solidarische Verpflichtung der Beschwerdeführer, wäre auf das Begehren nicht einzutreten. Soweit der Beschwerdegegner eine Abänderung des angefochtenen Entscheides zu seinen Gunsten hätte erreichen wollen, hätte er selbst rechtzeitig Beschwerde erheben müssen. Im Zeitpunkt der Beschwerdeantwort war die Beschwerdefrist (Art. 100 BGG) abgelaufen. Die Möglichkeit, im Rahmen der Beschwerdeantwort in Sinne einer "Anschlussbeschwerde" eine Abänderung des angefochtenen Entscheides zu Ungunsten der beschwerdeführenden Partei zu verlangen, ist im Gesetz nicht vorgesehen (vgl. Botschaft vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 4342 Ziff. 4.1.4.5 zu Art. 96 E-BGG).
2.
Nach Art. 42 Abs. 2 BGG ist in der Beschwerdeschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Unerlässlich ist dabei, dass die beschwerdeführende Partei auf die Begründung des angefochtenen Urteils eingeht und im Einzelnen darlegt, worin sie eine Verletzung von Bundesrecht sieht (BGE 140 III 86 E. 2 S. 89, 115 E. 2 S. 116). Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (BGE 140 III 115 E. 2 S. 116 mit Hinweis).
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (BGE 140 III 16 E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 140 III 115 E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
2.1.1. Willkürlich ist ein Entscheid nach konstanter Rechtsprechung nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür vielmehr nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dabei genügt es nicht, wenn sich nur die Begründung des angefochtenen Entscheides als unhaltbar erweist. Eine Aufhebung rechtfertigt sich nur dann, wenn der Entscheid auch im Ergebnis verfassungswidrig ist (BGE 140 III 16 E. 2.1 S. 18 f.; 129 I 8 E. 2.1 S. 9; je mit Hinweisen).
2.1.2. Die Sachverhaltsfeststellung bzw. Beweiswürdigung erweist sich als willkürlich (Art. 9 BV), wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (BGE 140 III 264 E. 2.3 S. 266 mit Hinweisen).
2.2. Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (BGE 140 III 264 E. 2.3 S. 266 mit Hinweisen). Das Bundesgericht ist keine letzte Appellationsinstanz, die von den Parteien mit vollkommenen Rechtsmitteln angerufen werden könnte (vgl. zit. Botschaft, BBl 2001 4342 Ziff. 4.1.4.5 zu Art. 97 E-BGG). Es genügt nicht, dem Bundesgericht, ohne eine substanziierte Sachverhaltsrüge zu erheben, unter gelegentlichem Hinweis auf die Akten einfach einen über die tatsächlichen Feststellungen im angefochtenen Entscheid hinausgehenden Sachverhalt zu unterbreiten, daraus vom angefochtenen Urteil abweichende Schlüsse zu ziehen und dieses als willkürlich oder rechtsverletzend zu bezeichnen. Ein derartiges Vorgehen verkennt die grundsätzliche Bindung des Bundesgerichts an die tatsächlichen Feststellungen im angefochtenen Entscheid (Art. 97 und Art. 105 BGG). Es geht nicht an, in einer Beschwerde in Zivilsachen appellatorische Kritik an der Beweiswürdigung des kantonalen Gerichts zu üben und Ergänzungen bezüglich der tatsächlichen Feststellungen vorzunehmen, als ob dem Bundesgericht im Beschwerdeverfahren die freie Prüfung aller Tatfragen zukäme (BGE 140 III 264 E. 2.3 S. 266; 136 II 489 E. 2.8 S. 494).
2.3. Wer den Sachverhalt ergänzen will, hat zudem mit präzisen Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (BGE 140 III 86 E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18). Neue Vorbringen sind nur zulässig, soweit erst der angefochtene Entscheid dazu Anlass gibt (Art. 99 Abs. 1 BGG), was wiederum näher darzulegen ist (BGE 133 III 393 E. 3 S. 395).
2.4. Die dargelegten Grundsätze werden in der Beschwerde über weite Strecken missachtet. Die Beschwerdeführer versuchen aufzuzeigen, weshalb die erste Instanz die Klage zu Recht weitgehend abgewiesen hat. Anfechtungsobjekt ist aber nicht der erstinstanzliche, sondern der letztinstanzliche Entscheid (Art. 75 Abs. 1 BGG). Mit dessen Beweisergebnis setzt sich die Beschwerde nicht hinreichend auseinander, sondern geht einfach unter Hinweis auf Beweismittel von einer anderen tatsächlichen Grundlage aus. Ein derartiges Vorgehen genügt den Begründungsanforderungen (Art. 42 Abs. 2 BGG) nicht.
3.
Vor Bundesgericht strittig sind der Ferien- und der Freitageabgeltungsanspruch. Dabei geht es zunächst um die Beweislastverteilung.
3.1. Das Bezirksgericht ging davon aus, der Beschwerdegegner habe im Betrieb des Verstorbenen eine besondere Stellung bekleidet. Einerseits habe der Beschwerdegegner umfassende Kompetenzen gehabt und alleine beziehungsweise zusammen mit dem Verstorbenen strategische Entscheide fällen können. Andererseits habe der Hof nur aufgrund der Finanzierung durch Darlehen des Beschwerdegegners überleben können. Die vom Beschwerdegegner eingebrachten Mittel seien mit Blick auf die vereinbarte Hofübernahme zur Verfügung gestellt worden. Der Kläger sei Geschäftspartner des Verstorbenen gewesen. Die Organisation auf dem Hof sei klar getrennt gewesen. Der Verstorbene habe sich um die Viehwirtschaft und die Finanzen, der Beschwerdegegner um den Rest der anfallenden Arbeiten gekümmert. Der Verstorbene sei daneben einer Erwerbstätigkeit nachgegangen und nur am Morgen bei der Betreuung der Kühe auf dem Hof anwesend gewesen. Der Beschwerdegegner sei somit fast die ganze Zeit alleine auf dem Hof gewesen, habe die Arbeiten nach seinem Gutdünken erledigt und sei frei gewesen, den Tagesablauf zu organisieren. Er habe die Arbeiten mehr oder weniger ohne Aufsicht durch den Verstorbenen erledigt. Er habe in dessen Namen Verträge abgeschlossen. Seine Entlöhnung habe derjenigen eines Betriebsleiters entsprochen. Nachdem der Verstorbene ihm am 10. Dezember 2010 eine Vollmacht erteilt hatte, sei der Beschwerdegegner bei der Ausgestaltung seiner Ferien- und Freitage ohnehin frei gewesen, so dass es ihm ohne Weiteres möglich gewesen wäre, die angehäuften Ferien- und Freitage zu beziehen. Weiter hätte er die Anzahl der nicht bezogenen Ferien- und Freitage ordnungsgemäss festhalten können. Da der Beschwerdegegner in der Ausgestaltung seiner Freizeit erhebliche Freiheit gehabt habe, sei die Beweislast umzukehren, so dass er den Beweis zu erbringen habe, wieviele Ferien und Freitage während des Arbeitsverhältnisses effektiv bezogen worden seien.
Aber auch davon abgesehen habe der Beschwerdegegner seine Ansprüche nicht hinreichend substanziiert. Die Agenda, welche nach seinen Angaben dazu gedient habe, die Ferien- und Freitageansprüche abzuschätzen, habe er aus unklaren Gründen dem Gericht nicht eingereicht. Aufgrund der mangelnden Substanziierung sah sich das Bezirksgericht nicht in der Lage, den Umfang der nicht bezogenen Ferien- und Freitage gestützt auf Art. 42 Abs. 2 OR zu schätzen.
3.2. Die Vorinstanz erkannte, die in Rechtsprechung und Lehre teilweise angenommene Beweislastumkehr, wenn der Arbeitnehmer erhebliche Freiheit hat, den Ferienbezug selbst zu bestimmen, sei hier nicht massgebend. Sie habe Fälle vor Augen, in denen es dem Arbeitgeber kaum möglich sei, festzustellen, ob der Arbeitnehmer seine Ferien bezogen habe oder nicht, und in denen der Arbeitnehmer die ihm gebotenen Gelegenheiten zum Ferienbezug ohne triftigen Grund nicht genutzt habe. Dem Verstorbenen sei es aber trotz seiner 80 % Anstellung bei der Gemeinde durchaus möglich gewesen, den Ferien- und Freitagebezug des Beschwerdegegners festzustellen, zumal der Verstorbene selbst auf dem Hof gelebt und sich dort morgens um die Milchwirtschaft gekümmert habe. Von Seiten des Verstorbenen oder der Beschwerdeführer sei aber nie ein Zeitpunkt für die Ferien bestimmt worden, wie dies in § 7 Abs. 3 des für den Kanton Aargau erlassenen Normalarbeitsvertrags über das Arbeitsverhältnis in der Landwirtschaft vom 24. November 2004 (NAV; SAR 963.372) vorgeschrieben sei. Aufgrund von § 11 Abs. 2 NAV wäre der Arbeitgeber ausserdem verpflichtet gewesen, dem Arbeitnehmer spätestens bei der Auszahlung des Lohns eine schriftliche Lohnabrechnung zu übergeben, die auch eine Kontrolle der Überstunden, der arbeitsfreien Tage und des Ferienbezugs enthalte. Die besondere Stellung des Beschwerdegegners im Betrieb ändere nichts daran, dass zwischen den Parteien ein landwirtschaftliches Arbeitsverhältnis bestanden habe, welches die Verantwortung für die Aufzeichnung der Arbeitszeit des Beschwerdegegners den Arbeitgebern zuweise. Daher liege die Beweislast, wie viele Ferien und Freitage bezogen worden seien, bei den Beschwerdeführern.
3.3. Die Beschwerdeführer rügen, die Vorinstanz habe Bundesrecht verletzt. Mit Blick auf die grosse Freiheit des Beschwerdegegners betreffend der Arbeitseinteilung hätte nach ihrer Auffassung die Beweislastumkehr greifen müssen.
3.4. Nach konstanter Rechtsprechung des Bundesgerichts hat der Arbeitnehmer sowohl die vertragliche Verpflichtung des Arbeitgebers zur Gewährung von Ferien wie auch ihr Entstehen durch die Dauer des Arbeitsverhältnisses zu beweisen. Demgegenüber trägt der Arbeitgeber die Beweislast dafür, dass und wie viele Ferientage während der massgebenden Zeit vom Arbeitnehmer bezogen worden sind (BGE 128 III 271 E. 2a/bb S. 274; Urteile des Bundesgerichts 4A_398/2014 vom 21. November 2014 E. 4.2; 4D_144/2009 vom 4. Februar 2010 E. 5.2; 4A_333/2009 vom 3. Dezember 2009 E. 3, nicht publ. in: BGE 136 III 94). Dies gilt nach der Lehre allgemein für Freizeit des Arbeitnehmers (JÜRG BRÜHWILER, Einzelarbeitsvertrag, 3. Aufl. 2014, S. 251 N. 1b zu Art. 329 OR).
3.4.1. Zwar wird in der Lehre unter Hinweis auf eine kantonale Entscheidung in der Tat die Auffassung vertreten, wenn der Arbeitnehmende erhebliche Freiheit habe, den Ferienbezug selbst zu bestimmen, treffe ihn die Beweislast, dass er keine Ferien habe beziehen können (vgl. ULLIN STREIFF/ADRIAN VON KAENEL/ROGER RUDOLPH, Arbeitsvertrag, 7. Aufl. 2012, N. 7 zu Art. 329c OR S. 670 f.). Zu prüfen wäre allerdings zunächst, ob die Voraussetzungen für eine eigentliche Beweislastumkehr durch Richterrecht überhaupt gegeben sind (vgl. HANS PETER WALTER, in: Berner Kommentar, 2012, N. 465 ff. zu Art. 8 ZGB).
3.4.2. Die Frage braucht nicht vertieft zu werden. In der kantonalen Entscheidung, auf die sich die Lehre bezüglich der "Umkehr der Beweislast" stützt, ging es konkret um einen Versicherungsinspektor. Im Entscheid wird sinngemäss ausgeführt, die grosse Freiheit, die der Arbeitnehmer als Versicherungsinspektor hinsichtlich der Organisation seiner Arbeit und seiner Freizeit geniesse, erlaube es dem Arbeitgeber nicht zu kontrollieren, ob der Arbeitnehmer seine Ferien (wie vertraglich vorgesehen) im laufenden Jahr bezogen habe oder nicht. Die Möglichkeit, die Ferien zu nehmen, sei jedenfalls dem Status des Versicherungsinspektors inhärent. In dieser Situation müsse man in Bezug auf die Tatsache, dass dem Arbeitnehmer Ferien gewährt wurden, eine gewisse Umkehr der Beweislast zulassen, vor dem Hintergrund, dass der Arbeitnehmer treuwidrig handle, wenn der Arbeitgeber ihm Gelegenheit zum Ferienbezug eingeräumt und er davon keinen Gebrauch gemacht habe (vgl. BRÜHWILER, a.a.O., S. 264 N. 1 zu Art. 329c OR). In dieser Situation sei es Sache des Arbeitnehmers, glaubhaft zu machen, dass er die Ferien nicht wie vorgesehen im laufenden Jahr beziehen konnte (JU-TRAV 1997 S. 42 ff. 47). Es geht mithin nicht um eine eigentliche Umkehr der Beweislast bei Arbeitnehmern, denen die Freiheit eingeräumt wurde, über den Ferienbezug weitgehend selbst zu bestimmen, sondern um den Schutz des Arbeitgebers vor einem treuwidrigen Verhalten des Arbeitnehmers, dem durch die Freiheit in der Arbeitszeitgestaltung die Möglichkeit zum Ferienbezug eingeräumt wird, ohne dass der Arbeitgeber den Bezug kontrollieren könnte, und der trotzdem keine Ferien bezieht, ohne dass er glaubhaft machen könnte, dass ihm dies nicht möglich gewesen wäre. Zu denken ist dabei an Fälle, in denen es dem Arbeitnehmer aufgrund der ihm gewährten Freiheiten und den von ihm übernommenen Aufgaben ohne Weiteres möglich sein müsste, die Ferien zu beziehen, und in denen der Arbeitgeber, dem die Kontrollmöglichkeit fehlt, nach Treu und Glauben davon ausgehen darf, der Arbeitnehmer habe die Ferien tatsächlich bezogen.
3.5. Mit einer derartigen Situation ist der zu beurteilende Fall nicht zu vergleichen.
3.5.1. Dass der Beschwerdegegner in seiner Arbeitsgestaltung frei war, kann nur Bedeutung erlangen, wenn ihm diese Freiheit mit Blick auf die tatsächlichen Gegebenheiten erlaubt hätte, die Ferien- und Freitage tatsächlich zu beziehen. Dies setzt voraus, dass es Zeitabschnitte gab, in denen für das Funktionieren des Hofes entweder die Arbeitskraft des Beschwerdegegners nicht benötigt wurde oder aber jemand vorhanden war, der die in der Abwesenheit des Beschwerdegegners zu erledigenden Arbeiten übernehmen konnte. Dass dies der Fall war, ist nicht festgestellt, und die Beschwerdeführer zeigen nicht auf, dass sie Entsprechendes im kantonalen Verfahren prozesskonform behauptet hätten. Sie machen vor Bundesgericht zwar geltend, da der Verstorbene bei seiner Arbeit für die Gemeinde fünf Wochen Ferien tatsächlich bezogen habe, hätte der Beschwerdegegner in dieser Zeit seine Ferien- und Freitage beziehen können. Dass dies tatsächlich so gehandhabt wurde, ist aber nicht festgestellt. Waren es die Ferien des Verstorbenen, die den Bezug von Ferien erlaubt hätten, ist zudem nicht dargetan, wie der Ferienbezug nach dem Tod des Verstorbenen ohne Wissen der Erben hätte durchgeführt werden können. Zudem wäre unter dieser Prämisse die Behauptung, der Verstorbene habe den Ferien- und Freitagebezug des Beschwerdegegners nicht kontrollieren können, nicht nachvollziehbar. Insoweit erscheinen die Vorbringen der Beschwerdeführer als inkonsistent.
3.5.2. Die Beschwerdeführer werfen dem Beschwerdegegner zwar ein rechtsmissbräuchliches Verhalten vor. Gestützt auf das Beweisergebnis der Vorinstanz geht dieser Vorwurf aber ins Leere.
3.5.2.1. Die Vorinstanz ging davon aus, dem Verstorbenen sei es möglich gewesen zu kontrollieren, ob der Beschwerdegegner seine Ferien und Freitage bezog. Sie kam in Würdigung der Beweise zum Schluss, dem Verstorbenen sei bewusst gewesen, dass der Beschwerdegegner nicht alle seine Ferien und Freitage bezogen habe. Von einem treuwidrigen Verhalten des Beschwerdegegners kann aber bei einem Dulden durch den Arbeitgeber keine Rede sein. Daran ändert auch die Vollmacht, die der Verstorbene während seines Spitalaufenthalts zu Gunsten des Beschwerdegegners ausgestellt hat, nichts. Sie mag die Freiheit des Beschwerdegegners erweitern. Dies ist aber nicht entscheidend, solange der Arbeitgeber duldet, dass der Arbeitnehmer nicht sämtliche Ferien- und Freitage bezieht. Hätte mit Erteilung der Vollmacht eine Änderung des bisherigen Ferien- und Freitage-Systems einhergehen sollen, hätte der Verstorbene das anordnen können. Dass er dies getan hätte, ist nicht festgestellt.
3.5.2.2. Die Beschwerdeführer gehen in ihrer Argumentation entgegen der Vorinstanz davon aus, der Arbeitgeber habe die Forderung des Arbeitnehmers nicht gekannt. Sie machen geltend, bei der Voraussetzung der Kenntnis einer Forderung könne es sich nur um die konkrete Forderung handeln, die in einem genau bestimmten Anspruch in Tagen beziehungsweise Franken bestehe. Den Umfang des Anspruchs hätten die Beschwerdeführer aber erst erkannt, als ihn der Beschwerdegegner nach erfolgter Kündigung geltend gemacht habe. Der behauptete Ferien- und Freitageanspruch sei - im Gegensatz zur sich verändernden Darlehenssumme - nicht schriftlich fixiert worden. Auch dies sei ein Indiz dafür, dass die Beschwerdeführer davon ausgehen durften, der Beschwerdegegner mache keinen Anspruch aus Ferien- und Freitagen geltend.
3.5.2.3. Gemäss einer Zeugenaussage, welche die Vorinstanz als glaubwürdig einstufte und auf die sie abgestellt hat, hat der Verstorbene im Zusammenhang mit Ferien und Freizeit gesagt, er sei froh und dankbar, dass er den Beschwerdegegner habe; er könne das nur honorieren, wenn er dem Beschwerdegegner dereinst den Betrieb zu einem guten Preis übertrage.
Ob zwischen dem Beschwerdegegner und dem Verstorbenen eine Vereinbarung getroffen wurde, wonach nicht bezogene Ferien- und Freitage im Rahmen der geplanten Hofübernahme zu honorieren seien (die Beschwerdeführer machen geltend, der Beschwerdegegner habe eine derartige Vereinbarung nicht rechtzeitig behauptet) und ob eine solche Vereinbarung rechtlich zulässig wäre (was die Beschwerdeführer bestreiten), ist unerheblich. Entscheidend ist, dass der Verstorbene das Verhalten des Beschwerdegegners in Kenntnis des Nichtbezugs von Ferien- und Freitagen toleriert hat und weder davon ausging, der Beschwerdegegner habe die Ferien- und Freitage im Rahmen seiner freien Arbeitsgestaltung bezogen noch der Arbeitnehmer müsse seine Forderungen regelmässig beziffern. Auch ging er nicht davon aus, die Arbeiten seien unentgeltlich erfolgt. Damit scheidet insoweit ein rechtsmissbräuchliches Verhalten des Beschwerdegegners aus und kann von ihm nicht verlangt werden, dass er glaubhaft macht, er habe die Ferien nicht beziehen können. Selbst wenn tatsächlich die Möglichkeit zum Bezug der Freitage und Ferien bestanden hätte, wäre dies nicht massgebend, solange der Arbeitgeber um den Nichtbezug weiss und diesen duldet.
3.5.2.4. Das Wissen des Verstorbenen müssen sich seine Erben, die in seine Rechtsstellung eintreten, entgegenhalten lassen. Es kann sich nur die Frage stellen, ob die Zeit nach seinem Ableben anders zu beurteilen ist. Die Beschwerdeführer behaupten zwar, es sei ihnen nach dem Tod des Verstorbenen nicht möglich gewesen, den Ferienbezug des Beschwerdegegners zu kontrollieren. Selbst wenn dies zutreffen sollte, zeigen sie nicht rechtsgenüglich auf, dass der Beschwerdegegner dies hätte erkennen müssen, zumal sie selbst ausführen, die Beschwerdeführerin 2 sei auf dem Hof anwesend gewesen. Sie legen nicht rechtsgenüglich dar, woraus der Beschwerdegegner hätte erkennen müssen, dass sie das vom Verstorbenen geduldete Verhalten nicht mehr akzeptierten, sondern davon ausgingen, der Beschwerdegegner beziehe alle seine Ferien- und Freitage.
3.5.3. Die Vorinstanz ist damit zu Recht davon ausgegangen, dass die Ausgestaltung des Arbeitsverhältnisses nicht zu einer Umkehr der Beweislast geführt hat. Aber auch der von den Beschwerdeführern gegenüber dem Beschwerdegegner erhobene Vorwurf des Rechtsmissbrauches, hat sie zu Recht zurückgewiesen.
3.6. Die Beschwerdeführer berufen sich darauf, zufolge Beweisvereitelung habe eine Umkehr der Beweislast zu erfolgen und sei diese dem Beschwerdegegner aufzuerlegen. Sie machen geltend, der Beschwerdegegner habe die Agenden, die ihm nach eigenen Angaben dazu gedient hatten, seinen Ferien- und Freitageanspruch abzuschätzen, nicht eingereicht, sondern zurückbehalten. Es ist aber nicht festgestellt, dass die Beschwerdeführer diesbezüglich je ein Editionsbegehren gestellt hätten, und sie zeigen dies in ihrer Beschwerde auch nicht auf. Damit kann von einer Beweisvereitelung keine Rede sein und kommt der Tatsache, dass die Beweisvereitelung nach der Rechtsprechung des Bundesgerichts im Rahmen der Beweiswürdigung zu berücksichtigen wäre und nicht zu einer Umkehr der Beweislast führt (BGE 119 II 305 E. 1b/aa S. 306; 118 II 27 E. 3a S. 29; Urteil des Bundesgerichts 4A_257/2014 vom 29. September 2014 E. 3.5, publ. in sic!, 1/2015 S. 37; WALTER, a.a.O., N. 321 zu Art. 8 ZGB mit Hinweisen auch auf abweichende Lehrmeinungen), keine Bedeutung zu. Mit Blick auf die Beweislastverteilung ist der angefochtene Entscheid nicht zu beanstanden.
4.
Die Vorinstanz ging unter Hinweis auf STREIFF/VON KAENEL/RUDOLPH, a.a.O., N. 7 zu Art. 329c OR S. 670, welche ihrerseits auf ein Urteil ZK2 10 23 des Kantonsgerichts von Graubünden vom 24. März 2011 ( http://www.lawsearch.gr.ch/download/KG_Entscheide/Entscheidungen%20KG/2011/ZK2/GRKG-20110324-ZK2-10-23-20111225.pdf, zuletzt besucht am 20. Juni 2016) verweisen, davon aus, es sei Sache des Arbeitnehmers, im Prozess seinen Ferienabgeltungsanspruch zu substanziieren, insbesondere indem er darlege, wie viele Ferientage aus welchem Jahr ihm nach seiner Auffassung noch zustünden. Die Beschwerdeführer rügen, der Beschwerdegegner sei seiner Substanziierungsobliegenheit nicht hinreichend nachgekommen.
4.1. Die im Rahmen der Verhandlungsmaxime bestehende Behauptungslast (Art. 55 Abs. 1 ZPO) trifft grundsätzlich jene Partei, die gemäss Art. 8 ZGB die Beweislast für eine Tatsache trägt (vgl. BGE 132 III 186 E. 4 S. 191 mit Hinweis). Den Beschwerdegegner trifft die Behauptungs- und Substanziierungslast, soweit ihn nach der Rechtsprechung des Bundesgerichts (BGE 128 III 271 E. 2a/bb S. 274) die Beweislast trifft. Sofern er gegenüber den Beschwerdeführern über einen Informationsvorsprung verfügt und diese aus eigener Wahrnehmung keine Angaben machen können, ist er darüber hinaus gehalten, deren Behauptungen substanziiert zu bestreiten (vgl. BGE 133 III 43 E. 4.1 S. 54 mit Hinweis; WALTER, a.a.O., N. 192 zu Art. 8 ZGB).
4.2. Die Frage nach dem Umfang der Behauptungslast braucht hier aber nicht vertieft zu werden, da der Vorwurf der mangelnden Substanziierung jedenfalls ins Leere geht. Die Anforderungen an die Substanziierung ergeben sich einerseits aus den Tatbestandsmerkmalen der angerufenen Norm und anderseits aus dem prozessualen Verhalten der Gegenpartei. Die Parteien haben im Rahmen von Art. 55 Abs. 1 ZPO alle Tatbestandselemente der materiellrechtlichen Normen zu behaupten, die den geltend gemachten Anspruch begründen. Der Behauptungslast ist Genüge getan, wenn die Parteien in ihrem Tatsachenvortrag in allgemeiner Weise sämtliche Tatsachen benennen, welche unter die ihr Begehren stützenden Normen zu subsumieren sind. Ein solchermassen vollständiger Tatsachenvortrag wird als schlüssig bezeichnet, da er bei Unterstellung, er sei wahr, den Schluss auf die anbegehrte Rechtsfolge zulässt. Bestreitet der Prozessgegner den schlüssigen Tatsachenvortrag der behauptungsbelasteten Partei, greift eine über die Behauptungslast hinausgehende Substanziierungslast. Die Vorbringen sind diesfalls nicht nur in den Grundzügen, sondern in Einzeltatsachen zergliedert so umfassend und klar darzulegen, dass darüber Beweis abgenommen oder dagegen der Gegenbeweis angetreten werden kann (BGE 127 III 365 E. 2b S. 368; Urteile des Bundesgerichts 4A_1/2016 vom 25. April 2016 E. 2.1; 4A_210/2009 vom 7. April 2010 E. 3.2; je mit Hinweisen). Für den Ersatzanspruch für nicht bezogene Ferien- und Freitage spielt (mit Ausnahme der Frage einer allfälligen Verjährung) keine Rolle, wann genau der Arbeitnehmer Freitage und Ferien nicht bezogen hat und auch die näheren Umstände sind grundsätzlich nicht von Belang, soweit der Arbeitgeber (wie hier der Verstorbene) duldet, dass der Arbeitnehmer die Ferien und Freitage nicht bezog. Eine Pflicht zur weiteren Substanziierung könnte sich unter diesen Umständen nur aus dem prozessualen Verhalten des Arbeitgebers ergeben, indem dieser zu erkennen gibt, dass er für ein substanziiertes Behaupten oder Bestreiten auf weitere Angaben des Arbeitnehmers angewiesen ist. Soweit der Arbeitgeber selbst die Beweislast trägt, ist zusätzlich Voraussetzung, dass mit Blick auf ein zu Gunsten des Arbeitnehmers bestehendes Informationsgefälle von diesem weitere Ausführungen verlangt werden können (vgl. BGE 133 III 43 E. 4.1 S. 54 mit Hinweis; WALTER, a.a.O., N. 192 zu Art. 8 ZGB). Die Beschwerdeführer zeigen aber nicht auf, dass aufgrund ihrer Eingaben vor Bezirksgericht Anlass zu einer weitergehenden Substanziierung bestand.
4.2.1. Der Beschwerdegegner hat nach den Feststellungen der Vorinstanz in der Klage aufgeführt, wieviele Ferientage er in welchem Jahr bezogen haben will und gestützt darauf seinen Anspruch berechnet. Auch den eingeklagten Abgeltungsanspruch für nicht bezogene Freitage zwischen Ende August 2006 bis 30. Juni 2012 habe er detailliert dargestellt.
4.2.2. Die Beschwerdeführer bestritten gemäss dem angefochtenen Entscheid die vom Beschwerdegegner angeblich nicht bezogenen Ferientage und machten geltend, dieser habe sämtliche Ferien bezogen, wofür eine hohe Wahrscheinlichkeit spreche. Sie bestritten ausserdem, den geltend gemachten Freitageabgeltungsanspruch und die Behauptung des Beschwerdegegners, er habe die von ihm geltend gemachten Freitage nicht beziehen können.
4.2.3. Die Vorinstanz kam zu Recht zum Schluss, dass sich der Beschwerdegegner aufgrund dieser generellen und nicht weiter substanziierten Ausführungen nicht veranlasst sehen musste, in der Replik hinsichtlich der Freitage mit Datumsangabe genau festzuhalten, wann, an welchen Tagen er frei beziehungsweise nicht frei gehabt habe. Wenn die Beschwerdeführer zur Substanziierung ihrer Ausführungen diesbezüglich auf weitere Angaben angewiesen gewesen wären, hätten sie darauf in der Klageantwort hinweisen können. Entsprechende Ausführungen erfolgten nach den Feststellungen der Vorinstanz aber erst im Berufungsverfahren. Soweit die Beschwerdeführer behaupten, sie selbst und auch der Verstorbene hätten schlicht keine Kenntnis davon gehabt, ob der Beschwerdegegner an freien Tagen gearbeitet habe oder nicht, und es sei ihnen daher nicht möglich, die Anzahl der nicht bezogenen Freitage und Ferien substanziiert zu bestreiten, weichen sie damit einerseits von den tatsächlichen Feststellungen der Vorinstanz ab. Zudem hätte genügt darzutun, inwiefern sie zur sachgerechten Behauptung oder Bestreitung auf weitere Angaben angewiesen sind.
4.3. Die Beschwerdeführer diskutieren die vom Beschwerdegegner angestellten Berechnungen und geben sie als unglaubwürdig aus. Sie schliessen aus Zeugenaussagen, der Beschwerdegegner habe auch seine Freizeit auf dem Hof verbracht und Arbeit und Freizeit vermischt. Damit stellen sie wie in einem erstinstanzlichen Verfahren den Sachverhalt unter Hinweis auf die Beweismittel aus ihrer Sicht dar, ohne sich mit dem angefochtenen Entscheid auseinanderzusetzen. Derartig appellatorische Ausführungen können vom Bundesgericht nicht berücksichtigt werden. Mit dem Einwand, es könne keine Schätzung nach Art. 42 Abs. 2 OR erfolgen, da es dem Beschwerdegegner zuzumuten gewesen wäre, genauere Angaben zu machen und seine Agenden einzureichen, sind sie nicht zu hören. Wenn sie als für den Bezug der Ferien- und Freitage beweisbelastete Partei in der Klageantwort weder vom Beschwerdegegner nähere Angaben verlangt haben noch die Edition der Agenden, können sie aus der Tatsache, dass der Beschwerdegegner allenfalls nähere Angaben hätte machen können, nichts zu ihren Gunsten ableiten. Das gilt auch, soweit sie mit Blick auf die Tatsache, dass der Beschwerdegegner seine Agenden nicht beim Gericht eingereicht hat, das Abstellen der Vorinstanz auf die vom Beschwerdegegner vorgenommenen Schätzung als willkürlich beanstanden.
5.
Bei der Schätzung der nicht bezogenen Ferien- und Freitage sah die Vorinstanz keinen Anlass, von den Angaben des Beschwerdegegners abzuweichen, nachdem nichts darauf hindeute, dass dieser in Tat und Wahrheit mehr Ferien- und Freitage bezogen habe, als in der Klage behauptet. Dies rügen die Beschwerdeführer als willkürlich.
5.1. Die Beschwerdeführer machen geltend, da die Angaben des Beschwerdegegners selbst auf einer Schätzung beruhten, deute sehr viel darauf hin, dass dieser mehr Ferien- und Freitage bezogen habe, als behauptet. Allein aus der Tatsache, dass die Werte geschätzt sind, folgt dies indessen nicht, da die Schätzung sowohl zu Gunsten als auch zu Ungunsten des Beschwerdegegners von der Realität abweichen kann. Die Beschwerdeführer müssten aufzeigen, dass zwingende Indizien dafür bestehen, der Beschwerdegegner habe die Schätzung zu seinen Gunsten vorgenommen, und dass sie sich darauf vor der Vorinstanz prozesskonform berufen haben. Entsprechende rechtsgenügliche Ausführungen finden sich in der Beschwerde nicht.
5.2. Die Beschwerdeführer beanstanden, die Vorinstanz habe auf die Angaben des Beschwerdegegners abgestellt mit der Begründung, sie hätten die Anzahl der Freitage nicht substanziiert bestritten. Dabei hätten sie bereits in der Klageantwort bestritten, dass der Kläger die geltend gemachten Freitage nicht habe beziehen können. Ein weitergehendes Bestreiten sei nicht notwendig.
Die Vorinstanz hat nicht ohne Weiteres auf die Angaben des Beschwerdegegners abgestellt, sondern ist in Würdigung der Beweise zum Schluss gekommen, der Beschwerdegegner habe tatsächlich nicht sämtliche Ferien- und Freitage bezogen und der Verstorbene sei sich dessen bewusst gewesen. Da der Verstorbene das Verhalten des Beschwerdegegners geduldet hat, kommt der Frage, ob dieser die Ferien- und Freitage hätte beziehen können, keine Bedeutung zu. Insoweit erachtete die Vorinstanz die Bestreitung der Beschwerdeführer nicht als ungenügend, sondern gelangte gestützt auf ein von den Behauptungen der Beschwerdeführer abweichendes Beweisergebnis zu einem für die Beschwerdeführer ungünstigen Resultat. Erst nachdem die Vorinstanz entgegen den Behauptungen der Beschwerdeführer zum Schluss gekommen war, dass entsprechend den Behauptungen in der Klage abzugeltende Ferien- und Freitage bestanden, hat sie auf die Schätzung des Beschwerdegegners abgestellt.
5.3. Dass die Beschwerdeführer für diesen Fall substanziierte Einwände gegen die Berechnung des Beschwerdegegners vorgebracht hätten, die bei der Vorinstanz zwingend Zweifel an der Schätzung hätten wecken müssen, zeigen sie nicht rechtsgenüglich auf. Sie verweisen vielmehr vor Bundesgericht auf eine Zeugenaussage, wonach der Beschwerdegegner Arbeiten auf dem Hof auch als Ferien und Freizeit angesehen habe. Diese Ausführungen offenbaren ein Missverständnis. Entscheidend ist, dass der Arbeitnehmer mit Wissen des Arbeitgebers für diesen Arbeit leistet, statt Ferien zu beziehen. Dass der Arbeitnehmer seine Arbeit allenfalls als Ferien empfindet oder diesen vorzieht, führt nicht dazu, dass die Arbeit als Freizeit anzusehen wäre. Aus den Vorbringen der Beschwerdeführer folgt aber implizit, dass der Beschwerdegegner tatsächlich auch an freien Tagen auf dem Hof war und gearbeitet hat.
6.
Damit ist die Beschwerde insgesamt abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer kosten- und entschädigungspflichtig.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden unter solidarischer Haftbarkeit den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegner unter solidarischer Haftbarkeit für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 20. Juni 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak