Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) und der inzwischen verstorbene B.B._ (Erblasser) schlossen 1996 einen mündlichen Arbeitsvertrag, worauf der Kläger als Angestellter auf dem Hof des Erblassers tätig war. Der Kläger erledigte gemeinsam mit dem Erblasser die notwendigen Arbeiten. Dieser arbeitete zudem mit einem Pensum von 80 % auf einer Kompostieranlage. Wegen der schwierigen finanziellen Lage des Hofs schlossen der Kläger und der Erblasser einen mündlichen Darlehensvertrag, wonach der Kläger vorerst darauf verzichtete, dass ihm seine Investitionen in den Hof, sein Lohn und weitere arbeitsrechtliche Ansprüche ausbezahlt werden. Auf diese Weise erhöhte sich die Darlehenssumme kontinuierlich. Erst im Jahr 2008 hielten der Kläger und der Erblasser das Darlehen schriftlich fest. Per 31. Dezember 2010 betrug die Darlehenssumme Fr. 469'753.25.
Der Erblasser verstarb am 8. Januar 2011. Er hinterliess als Erben seine Ehefrau D.B._ (Beklagte 2, Beschwerdegegnerin 2) und seine Söhne C.B._ und E.B._ (Beklagte 1 und 3, Beschwerdegegner 1 und 3). Diese zahlten das Darlehen vollständig zurück. Umstritten blieb allerdings, ob auch Darlehenszinse geschuldet sind.
B.
Nach erfolgloser Schlichtungsverhandlung beantragte der Kläger am 17. November 2017 beim Bezirksgericht Kulm, die Beklagten seien solidarisch zu verpflichten, ihm Darlehenszinse von Fr. 175'271.-- zu bezahlen.
B.a. Am 21. Mai 2019 fand die bezirksgerichtliche Hauptverhandlung statt. Dabei wurden die Parteien und der Treuhänder des Erblassers befragt.
Gleichentags wies das Bezirksgericht die Klage ab. Es auferlegte die Gerichtskosten von Fr. 10'400.-- dem Kläger und verpflichtete ihn, den Beklagten eine Parteientschädigung von Fr. 40'913.53 inkl. MWST zu bezahlen.
B.b. Die dagegen gerichtete Berufung des Klägers, mit der er von den Beklagten Fr. 175'768.26 verlangte und eventualiter eine Reduktion der ihm auferlegten Parteientschädigung auf maximal Fr. 23'072.55, hiess das Obergericht des Kantons Aargau am 14. Mai 2020 teilweise gut. Es bestätigte die Abweisung der Klage, doch reduzierte es die Parteientschädigung für die Beklagten auf Fr. 25'622.40 inkl. Auslagen und MWST.
C.
Der Kläger beantragt mit Beschwerde in Zivilsachen, das obergerichtliche Urteil sei aufzuheben und es seien die Beklagten solidarisch zu verpflichten, ihm Fr. 175'768.25 zu bezahlen. Weiter verlangt der Kläger, es seien F.B._ und G._ als Zeugen zu befragen.
Es wurden keine Vernehmlassungen eingeholt.
Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid (Art. 75 Abs. 1 BGG) in Zivilsachen (Art. 72 Abs. 1 BGG). Der Streitwert von Fr. 175'768.25 übersteigt Fr. 30'000.-- deutlich (Art. 74 Abs. 1 lit. b BGG). Die Beschwerdefrist ist gewahrt (Art. 100 Abs. 1 BGG). Auf die Beschwerde ist - unter Vorbehalt einer hinreichenden Begründung (vgl. E. 2 hiernach) - einzutreten.
1.2. Der Beschwerdeführer beantragt, F.B._ und G._ seien als Zeugen zu befragen. Er macht dazu geltend, die Vorinstanz hätte nicht in antizipierter Beweiswürdigung auf deren Befragung verzichten dürfen. Er rügt sein Recht auf Beweisabnahme als verletzt. Selbst wenn diese Rüge begründet und eine ergänzende Zeugeneinvernahme notwendig wäre, würde das Bundesgericht diese grundsätzlich nicht selbst vornehmen, sondern die Sache an die Vorinstanz zur Durchführung des Beweisverfahrens zurückweisen (vgl. BGE 133 IV 293 E. 3.4.2 S. 295 f.; PHILIPP GELZER, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 2 zu Art. 55 BGG). Entsprechend gilt in Fällen, in denen die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen, auch eine Ausnahme vom grundsätzlichen Erfordernis eines materiellen Antrags und genügt ein blosser Rückweisungsantrag (BGE 134 III 379 E. 1.3 S. 383; 133 III 489 E. 3.1; je mit Hinweisen). Gründe für ein Abweichen von diesen Grundsätzen nennt der Beschwerdeführer nicht. Auf seinen Antrag auf Einvernahme der Zeugen ist daher nicht weiter einzugehen. Zu prüfen bleibt die Rüge einer Verletzung seines Anspruchs auf Beweisabnahme.
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG; vgl. dazu BGE 133 III 545 E. 2.2 S. 550; 133 II 249 E. 1.4.1 S. 254). Allerdings prüft es, unter Berücksichtigung der allgemeinen Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 140 III 86 E. 2 S. 89, 115 E. 2 S. 116). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 140 III 115 E. 2 S. 116; 133 II 396 E. 3.2 S. 400 mit Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt. Zum Prozesssachverhalt gehören namentlich die Anträge der Parteien, ihre Tatsachenbehauptungen, rechtlichen Erörterungen, Prozesserklärungen und Beweisvorbringen (BGE 140 III 16 E. 1.3.1 S. 17 f. mit Hinweisen). Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 143 IV 241 E. 2.3.1 S. 244; 140 III 115 E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
Die Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (vgl. BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen). Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (BGE 140 III 86 E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18).
3.
Der Beschwerdeführer wendet sich gegen die vorinstanzliche Vertragsauslegung. Er stellt sich auf den Standpunkt, sein Darlehen sei verzinslich.
3.1. Für das Zustandekommen und die Auslegung einer Vereinbarung ist zunächst massgebend, was die Parteien tatsächlich übereinstimmend gewollt haben. Die empirische oder subjektive hat gegenüber der normativen oder objektivierten Vertragsauslegung den Vorrang (BGE 144 III 93 E. 5.2.2 f. S. 98 f.; 138 III 659 E. 4.2.1 S. 666; 137 III 145 E. 3.2.1 S. 148; 130 III 554 E. 3.1 S. 557).
Erst wenn der übereinstimmende wirkliche Wille der Parteien unbewiesen bleibt, sind die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Dabei ist vom Wortlaut der Erklärungen auszugehen, welche jedoch nicht isoliert, sondern aus ihrem konkreten Sinngefüge heraus zu beurteilen sind (BGE 138 III 659 E. 4.2.1 S. 666; 123 III 165 E. 3a S. 168). Ein objektivierter und damit rechtlicher Konsens bedeutet nicht zwingend, dass die sich äussernde Partei tatsächlich den inneren Willen hatte, sich zu binden; es reicht, wenn die andere Partei aufgrund des objektiv verstandenen Sinns der Erklärung oder des Verhaltens nach Treu und Glauben annehmen konnte, die sich äussernde Partei habe einen Rechtsbindungswillen (BGE 144 III 93 E. 5.2.3 S. 99; 143 III 157 E. 1.2.2 S. 159). Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Gerichts über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich (vgl. E. 2.2 hiervor) gebunden ist (Art. 105 Abs. 1 BGG; BGE 144 III 93 E. 5.2.3 S. 99).
3.2. Es existieren zwei praktisch identische schriftliche Darlehensverträge, in denen ausdrücklich festgehalten wird, dass das Darlehen zinsfrei ist: Der erste Vertrag zwischen dem Beschwerdeführer und dem Erblasser datiert vom 31. Dezember 2008; der zweite Vertrag aus dem Jahr 2011 zwischen dem Beschwerdeführer und der Beschwerdegegnerin 2 wurde auf den 31. Dezember 2010 rückdatiert.
Die Vorinstanz stellte fest, der Beschwerdeführer behaupte einerseits, die Zinslosigkeit sei an die Bedingung geknüpft worden, dass er dereinst den Hof übernehme. Anderseits behaupte er, der Zins sei unabhängig von einer Hofübernahme geschuldet. Dazu erwog die Vorinstanz, widersprüchliche Behauptungen könnten nicht bewiesen werden. Eine von den schriftlichen Darlehensverträgen abweichende Vereinbarung könne schon deshalb nicht festgestellt werden, weil unklar sei, welche der beiden Behauptungen zum Beweis verstellt werden sollte.
Sodann erwog die Vorinstanz im Sinne einer Eventualbegründung, selbst wenn man über die Widersprüchlichkeit der Behauptungen zur angeblichen Verzinslichkeit hinwegsehen würde, wäre die Klage abzuweisen. Denn dem Beschwerdeführer misslinge der Beweis, dass er mit dem Erblasser mündlich vereinbarte, das Darlehen sei zu verzinsen. Im schriftlichen Vertrag mit dem Erblasser werde die Zinslosigkeit an keine Bedingungen geknüpft. Es gebe keine Hinweise, dass der Zins aufgeschoben oder gestundet worden wäre. Der Beschwerdeführer lege nicht plausibel dar, weshalb er im Jahr 2008 mit dem Erblasser die Zinslosigkeit des Darlehens schriftlich vereinbart habe, ohne zugleich die angebliche Bedingung der Hofübernahme schriftlich festzuhalten. Wenn schon die Höhe und weitere Modalitäten des Darlehens schriftlich fixiert worden seien, dann hätte es sich geradezu aufgedrängt, auch die vom Beschwerdeführer heute behaupteten Bedingungen für die Zinslosigkeit in den schriftlichen Vertrag aufzunehmen. Weiter sei zu beachten, dass der Beschwerdeführer nicht auf die angeblichen mündlich vereinbarten Modalitäten hinwies, als im Jahr 2011 der zweite schriftliche Vertrag mit den Beschwerdegegnern aufgesetzt wurde. Die Beschwerdegegner müssten nicht darlegen, wieso der Beschwerdeführer auf einen Darlehenszins in stattlicher Höhe hätte verzichten sollen. Denn die Zinslosigkeit des Darlehens sei zwei Mal schriftlich bekräftigt worden.
3.3. Zunächst stellt sich die Frage (vgl. E. 3.1 hiervor), ob die Vorinstanz zu ihrem Auslegungsergebnis, dass ein zinsloses Darlehen ohne Bedingungen vereinbart wurde, im Rahmen der empirischen Auslegung gelangt ist und damit feststellte, was die Parteien tatsächlich übereinstimmend wirklich gewollt hatten, oder ob sie die Vereinbarungen nach dem Vertrauensprinzip ausgelegt hat. Wenn der Beschwerdeführer vorträgt, der tatsächliche Wille der Parteien sei "wohl" nicht mehr feststellbar, nachdem der Erblasser nicht mehr lebe, weshalb die beiden Verträge objektiviert nach dem Vertrauensprinzip auszulegen seien, verkennt er, dass auch der tatsächliche Wille verstorbener Personen durchaus feststellbar sein kann, beispielsweise anhand des Vertragstextes selbst oder von Zeugenaussagen betreffend das tatsächliche Verhalten der verstorbenen Person nach Vertragsschluss. Die Frage braucht indessen nicht vertieft zu werden:
3.3.1. Geht man davon aus, die Vorinstanz habe einen tatsächlich übereinstimmenden Willen festgestellt, gingen alle Ausführungen des Beschwerdeführers zur normativen Vertragsauslegung an der Sache vorbei. Dies wäre beispielsweise der Fall, wenn er darlegt, was aus der Sicht eines vernünftigen Dritten nachvollziehbar wäre, oder wenn er ausführt, eine objektivierte Auslegung der Darlehensverträge lasse nur den Schluss zu, ein Darlehenszins sei geschuldet. Unter dieser Prämisse liesse sich aus BGE 71 II 255, auf den sich der Beschwerdeführer beruft, von Vornherein nichts zu seinen Gunsten entnehmen.
3.3.2. Aber selbst wenn man zu Gunsten des Beschwerdeführers annimmt, die Vorinstanz habe mit ihren Ausführungen keinen tatsächlich übereinstimmenden Parteiwillen festgestellt, sondern den Vertrag nach dem Vertrauensprinzip ausgelegt, führt dies zu keinem für den Beschwerdeführer günstigeren Ergebnis, da das Bundesgericht auch im Rahmen der Vertragsauslegung nach dem Vertrauensprinzip an die Feststellungen der Vorinstanz zu den Umständen, unter denen der Vertrag geschlossen wurde, grundsätzlich gebunden ist. Es kann sowohl die tatsächlichen Feststellungen der Vorinstanz zum Willen der Parteien (vgl. E. 3.3.1 hiervor) als auch die im Rahmen der Auslegung nach dem Vertrauensprinzip zu berücksichtigenden tatsächlichen Umstände nur mit beschränkter Kognition prüfen. Will der Beschwerdeführer diese vorinstanzlichen Feststellungen anfechten, dann muss er klar und substanziiert aufzeigen, inwiefern sie offensichtlich unrichtig sind (vgl. E. 2.2 hiervor). Diesen Anforderungen genügt die Beschwerde nicht.
Soweit der Beschwerdeführer der vorinstanzlichen Beweiswürdigung bloss seine eigene Sicht der Dinge gegenüberstellt, ist auf seine Beschwerde nicht einzutreten. Dies ist zum Beispiel der Fall, wenn er die Zeugenaussagen des Treuhänders abweichend von der Vorinstanz würdigt, ohne Willkür aufzuzeigen.
Sodann ist unbestritten, dass der Beschwerdeführer seine Arbeit gut machte; dass er eine unverzichtbare Stütze war; dass er mit dem Erblasser in einem Vertrauensverhältnis stand; dass der Erblasser nach seiner schweren Erkrankung den Beschwerdeführer umfassend bevollmächtigte; dass der Betrieb ohne das Darlehen des Beschwerdeführers nicht überlebt hätte; dass er dafür keine Sicherheiten erhielt; und dass bei einem Darlehen dieser Höhe eine beträchtliche Summe als Zins aufgelaufen wäre. Doch all diese Umstände lassen die Vertragsauslegung der Vorinstanz weder in tatsächlicher Hinsicht als unhaltbar erscheinen, noch im Rahmen der Auslegung nach dem Vertrauensprinzip als bundesrechtswidrig: Die Zinslosigkeit des Darlehens wurde zwei Mal schriftlich festgehalten, ohne dass eine Bedingung erwähnt worden wäre. Wäre keine Zinslosigkeit vereinbart gewesen, sondern hätte der Beschwerdeführer, wie er vor Bundesgericht behauptet, als Gegenleistung den Hof übernehmen und dann den Darlehenszins nebst dem Darlehen und den Lohnguthaben mit dem Kaufpreis verrechnen können, wäre zu erwarten, dass diese Tatsache sowie insbesondere auch die Höhe des Zinses in der Vereinbarung festgehalten worden wären. Auch das Vertrauensverhältnis, das zwischen dem Beschwerdeführer und dem Erblasser bestand, vermöchte nach Treu und Glauben nicht zu erklären, weshalb die Parteien für die Geschäftsabwicklung wesentliche Punkte unvollständig und mit Blick auf die Aussage, das Darlehen sei zinsfrei, objektiv missverständlich festhalten sollten, wenn sie trotz des Vertrauensverhältnisses eine schriftliche Fixierung für notwendig erachteten.
Auch im Rahmen der Vertragsauslegung nach dem Vertrauensprinzip kann der Beschwerdeführer aus BGE 71 II 255 nichts zu seinen Gunsten ableiten. Es trifft nicht zu, dass dem Erblasser und den Beschwerdegegnern bewusst sein musste, dass der Beschwerdeführer niemals bereit gewesen wäre, ein Darlehen, welches sich zuletzt auf Fr. 469'753.25 belaufen habe, gratis zu gewähren. Gerade das Vertrauensverhältnis zum Erblasser, sowie die Möglichkeit, das bisherige Arbeitsmodell weiterzuführen, lassen die Bereitschaft des Beschwerdeführers zur Vergabe eines zinslosen Darlehens durchaus als nachvollziehbar erscheinen, zumal die Möglichkeit besteht, dass der Erblasser mit einer Weiterführung nicht einverstanden gewesen wäre, wenn zusätzlich Zinsen aufgelaufen wären. An einer Weiterführung konnte aber auch der Beschwerdeführer ein Interesse haben, selbst wenn für ihn lukrativere Alternativen bestanden haben sollten.
3.3.3. Auch eine Verletzung des Beweisanspruchs des Beschwerdeführers ist nicht dargetan. Die Vorinstanz erwog, die Erstinstanz habe auf die Zeugenbefragung von F.B._ und G._ verzichten dürfen. Denn gemäss den Beweisanträgen des Beschwerdeführers hätten diese Zeugen einzig bestätigen können, dass die Hofübernahme mehrmals ein Thema zwischen dem Beschwerdeführer und dem Erblasser gewesen sei. Der Beschwerdeführer versäumt es, mit präzisen Aktenhinweisen darzulegen, dass er weitergehende Beweisanträge stellte. Die blosse Angabe, was er im erstinstanzlichen Verfahren vorgebracht haben will, ohne Aktenhinweis, genügt den Begründungsanforderungen nicht (vgl. E. 2.2 hiervor).
3.4. Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz annahm, der Beschwerdeführer und der Erblasser hätten die Zinslosigkeit des Darlehens frei von Bedingungen vereinbart. Die Rüge ist unbegründet.
4.
Der Beschwerdeführer beruft sich auf einen Grundlagenirrtum.
4.1. Nach Art. 24 Abs. 1 Ziff. 4 OR ist an den Vertrag nicht gebunden, wer sich bei seinem Abschluss über einen bestimmten Sachverhalt geirrt hat, der ihm notwendige Grundlage des Vertrags war und bei objektiver Betrachtung, nach Treu und Glauben im Geschäftsverkehr, sein durfte (BGE 136 III 528 E. 3.4.1 S. 532; vgl. schon BGE 84 II 515 E. 2 S. 519; je mit Hinweisen). Neben der subjektiven Wesentlichkeit ist erforderlich, dass der zugrunde gelegte Sachverhalt auch objektiv, vom Standpunkt oder nach den Anforderungen des loyalen Geschäftsverkehrs, als notwendige Grundlage des Vertrags erscheint (BGE 136 III 528 E. 3.4.1 S. 532; 118 II 58 E. 3b S. 62). Der Irrtum gemäss Art. 24 Abs. 1 Ziff. 4 OR kann sich zwar auf eine künftige Tatsache beziehen, jedoch nur, wenn diese Tatsache im Zeitpunkt des Vertragsschlusses objektiv als sicher angesehen werden konnte (BGE 118 II 297 E. 2b S. 300; Urteil 4A_286/2018 vom 5. Dezember 2018 E. 4.1). Voraussetzung ist weiter, dass die Gegenpartei nach Treu und Glauben im Geschäftsverkehr hätte erkennen müssen, dass die Sicherheit des Eintritts des zukünftigen Ereignisses für die andere Partei Vertragsvoraussetzung war (BGE 118 II 297 E. 2b S. 300; zit. Urteil 4A_286/2018 E. 4.1).
4.2. Die Vorinstanz erwog, zwar habe der Beschwerdeführer erwartet, den Hof zu übernehmen. Allerdings habe er dies nicht als sicher annehmen dürfen. Die Modalitäten der Hofübernahme seien nicht geregelt gewesen. Es habe keine Einigkeit bestanden. Der Beschwerdeführer habe in beiden schriftlichen Verträgen festhalten lassen, dass das Darlehen zinsfrei sei. Von einer Hofübernahme sei in den Verträgen nicht die Rede. Zwar hätten die Äusserungen des Erblassers den Beschwerdeführer in seiner Erwartung bestärkt, den Hof übernehmen zu können. Doch sei die Hofübernahme nie mit Gewissheit festgestanden. Ohne schriftlichen Vertrag sei die Hofübernahme durch den Beschwerdeführer stets unsicher gewesen.
4.3. Soweit der Beschwerdeführer seiner Rüge einen vom angefochtenen Urteil abweichenden Sachverhalt zugrunde legt, ohne Willkür darzutun, ist auf seine Beschwerde nicht einzutreten. Dass die rechtlichen Ausführungen der Vorinstanz Bundesrecht verletzen würden, ist weder ersichtlich noch dargetan. Selbst wenn beidseitig die grundsätzliche Absicht bestand, eine Hofübernahme des Beschwerdeführers zu ermöglichen, bleibt diese ungewiss, solange wesentliche Übernahmemodalitäten noch offen sind und nicht feststeht, dass sich die Parteien auch diesbezüglich einig werden. Die Rüge ist nicht stichhaltig.
5.
Der Beschwerdeführer verlangt eine Vertragsanpassung wegen veränderter Verhältnisse und beruft sich auf die "clausula rebus sic stantibus".
5.1. Verträge sind so zu erfüllen, wie sie vereinbart worden sind ("pacta sunt servanda"), soweit die Parteien nicht einvernehmlich eine neue Vertragsregelung treffen. Zwar ist nach der so genannten "clausula rebus sic stantibus" eine richterliche Anpassung auch gegen den Willen einer Partei möglich, wenn sich die Umstände nach Vertragsabschluss so grundlegend ändern, dass eine gravierende Äquivalenzstörung eintritt (BGE 135 III 1 E. 2.4 S. 9 f.; vgl. BGE 138 V 366 E. 5.1 S. 371; 127 III 300 E. 5b S. 304 f. mit Hinweisen). Eine Anpassung der vertraglich bestimmten Leistungen ist gesetzlich etwa für den Werkvertrag bei unvorhersehbaren ausserordentlichen Umständen vorgesehen (Art. 373 Abs. 2 OR). Aus wichtigen Gründen wird den Parteien beim Arbeitsvertrag (Art. 337 Abs. 1 OR) und beim Mietvertrag (Art. 266g Abs. 1 OR) sodann von Gesetzes wegen ein ausserordentliches Kündigungsrecht eingeräumt. Für Dauerverträge hat die Rechtsprechung zudem regelmässig ein Kündigungsrecht aus wichtigem Grund angenommen (BGE 135 III 1 E. 2.4 S. 10; 128 III 428 E. 3 S. 429 mit Hinweisen). Voraussetzung für eine richterliche Vertragsanpassung nach der "clausula rebus sic stantibus" ist, dass die Verhältnisänderung beim Abschluss des Vertrags weder voraussehbar noch vermeidbar war (BGE 135 III 1 E. 2.4 S. 10; 127 III 300 E. 5b S. 304 f.; je mit Hinweisen).
5.2. Die Vorinstanz erwog, die Voraussetzungen für eine richterliche Vertragsanpassung seien nicht erfüllt. Eine gravierende Äquivalenzstörung sei nicht erkennbar. Auch eine erhebliche Veränderung der Verhältnisse, die nicht voraussehbar oder vermeidbar war, sei nicht auszumachen. Der Beschwerdeführer behaupte, er habe nicht voraussehen können, dass er den Hof nicht übernehmen kann. Die Vorinstanz hält dem entgegen, dass der Beschwerdeführer die Hofübernahme und deren Modalitäten nie schriftlich mit dem Erblasser vereinbart habe. Deshalb sei immer denkbar und möglich geblieben, dass der Erblasser ihm den Hof nicht überlassen oder versterben würde. Im letzteren Fall sei zudem denkbar gewesen, dass die Erben ihm das Darlehen zurückzahlen und den Hof anderweitig veräussern. Die Gewährung eines zinslosen Darlehens sei angesichts des freundschaftlichen Verhältnisses zwischen dem Beschwerdeführer und dem Erblasser nicht abwegig und stelle für sich keine gravierende Äquivalenzstörung dar.
5.3. Auch hier legt der Beschwerdeführer seiner Rüge einen Sachverhalt zugrunde, der von den vorinstanzlichen Feststellungen abweicht, ohne Willkür darzulegen, indem er einfach auf seine eigene Darstellung der Geschehnisse in der Beschwerde verweist. Darauf ist nicht einzutreten. Im Übrigen sind die vorinstanzlichen Erwägungen nicht zu beanstanden. Auch hier zeigt der Beschwerdeführer nicht rechtsgenüglich auf, dass zwischen ihm und dem Erblasser Einigkeit betreffend aller wesentlichen Modalitäten einer allfälligen Hofübernahme bestanden hätte, denn es stellt sich nicht nur die in der Beschwerde behandelte Frage, ob dem Beschwerdeführer Zinsforderungen zustehen, die er auf einen allfälligen Übernahmepreis anrechnen könnte, sondern auch, ob überhaupt Einigkeit über die Festsetzung dieses Übernahmepreises bestand. Eine Verletzung von Bundesrecht liegt nicht vor. Die Rüge ist unbegründet.
6.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Den Beschwerdegegnern ist keine Parteientschädigung zuzusprechen, da keine Vernehmlassungen eingeholt wurden (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 9. September 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak