Sachverhalt:
A.
A.a. Am 22. Oktober 2004 schlossen B.B._ und C.B._ (Mieter, Kläger, Beschwerdegegner) und A._ (Vermieter, Beklagter, Beschwerdeführer) einen bis zum 31. Dezember 2006 befristeten Mietvertrag über die Liegenschaft "D._" in U._ ab. Der Mietbeginn wurde auf den 1. Januar 2005 festgelegt.
In einer Zusatzvereinbarung zum Mietvertrag wurde verabredet, dass der Mietvertrag auf den 30. Juni 2006 aufgelöst werden könne, wobei die Kläger die Liegenschaft auf diesen Zeitpunkt kaufen könnten. Der Kaufpreis wurde auf Fr. 800'000.-- festgelegt, mit einer Festpreiszusage bis 31. Dezember 2006. Weiter wurde eine Anzahlung der Kläger von Fr. 40'000.-- (= 5 % des Kaufpreises) vereinbart, wogegen sich der Beklagte verpflichtete, bis am 31. Dezember 2006 keine weiteren Kaufinteressenten zu suchen. Ab dem Datum des Kaufs sollte sich der Kaufpreis um Fr. 1'000.-- für jeden Monat der vorangegangenen Mietdauer reduzieren.
In einem ersten Nachtrag vom 1. Dezember 2004 vereinbarten die Parteien, dass die Kläger anstelle der Kaufpreisreduktion um Fr. 1'000.-- pro Monat vorangegangener Mietdauer die Option einlösen könnten, dass der Beklagte die Finanzierung des Kaufpreises von Fr. 640'000.-- (= 80 % des Kaufpreises) bis Ende 2008 bestelle und einen (Hypothekar-) Zinssatz von 3,25 % bis maximal 31. Dezember 2008 garantiere, sofern die Kläger bis spätestens 31. Dezember 2006 das Eigenkapital von Fr. 120'000.-- (= 20 % von Fr. 800'000.-- abzüglich Fr. 40'000.-- Anzahlung) aufbrächten. Für diesen Fall versprach der Beklagte, sich als Solidarbürge zu verpflichten.
In einem zweiten Nachtrag vom 15. Juni 2005 verpflichteten sich die Kläger, weitere Fr. 40'000.-- an den Beklagten zu bezahlen, wobei dieser Betrag vorderhand als Darlehen mit vollem Kapitalschutz anzusehen sei. Anstelle eines Zinses vereinbarten die Parteien, dass die Kläger während der Sommermonate 2005 ein Bad im Dachgeschoss einbauen und den Boiler ersetzen würden.
A.b. Am 1. Dezember 2004 und am 30. Mai 2005 überwiesen die Kläger je Fr. 40'000.-- an den Beklagten. Der Kläger 2 war in dieser Zeit noch Eigentümer des Grundstückes Nr. xxx, Plan yyy, in V._. Am 10. Januar 2006 schloss der Kläger 2 mit den Brüdern E.F._ und G.F._ einen Kaufvertrag, gemäss welchem diese das Grundstück zu einem Preis von Fr. 620'000.-- erwarben. Die Tilgung des Kaufpreises sollte unter anderem durch Verrechnung einer vom Beklagten an E.F._ und G.F._ abgetretenen Forderung gegenüber dem Kläger 2 in der Höhe von Fr. 60'000.-- erfolgen.
In der Folge kam der geplante Kauf der gemieteten Liegenschaft in U._ durch die Kläger nicht zustande.
B.
B.a. Am 9. Juli 2007 reichten die Kläger beim Bezirksgericht Zofingen Klage gegen den Beklagten ein mit dem Begehren, der Beklagte sei zu verurteilen, ihnen Fr. 40'000.-- zuzüglich Zins ab dem 1. Dezember 2004, Fr. 40'000.-- zuzüglich Zins ab dem 30. Mai 2005 sowie Fr. 60'000.-- zuzüglich Zins ab dem 10. Januar 2006 aus ungerechtfertigter Bereicherung zu zahlen. Sodann sei der Beklagte zu verurteilen, ihnen Fr. 5'500.-- zuzüglich Zins ab dem 1. Januar 2005 aus Auftrag zu bezahlen. Insgesamt verlangten sie somit einen Betrag von Fr. 145'500.-- nebst Zins.
Der Beklagte reichte eine Widerklage ein, mit dem im Laufe des Verfahrens abgeänderten Begehren, die Kläger und Widerbeklagten seien unter solidarischer Haftbarkeit zu verurteilen, ihm Fr. 127'754.75 zu bezahlen, zuzüglich Zins zu 5 % auf dem Betrag von Fr. 19'000.-- seit mittlerem Verfall und auf Fr. 108'754.75 seit dem 1. Januar 2007.
B.b. Mit Urteil vom 21. Juni 2012 erkannte das Bezirksgericht Zofingen:
"1. 1.1.
In teilweiser Gutheissung der Klage wird der Beklagte verpflichtet, den Klägern den Betrag von Fr. 105'500.00 zuzüglich 5 % Zins seit 22. Dezember 2006 zu bezahlen.
Soweit mit der Klage mehr verlangt wird, wird sie abgewiesen.
1.2.
In Gutheissung der Widerklage werden die Kläger und Widerbeklagten unter solidarischer Haftbarkeit verpflichtet, dem Beklagten und Widerkläger den Betrag von Fr. 25'359.60 zuzüglich 5 % Zins seit 28. Januar 2008 zu bezahlen.
Soweit mit der Widerklage mehr verlangt wird, wird sie abgewiesen.
2.
[Verfahrenskosten]
3.
[Parteikosten]"
B.c. Gegen dieses Urteil erhoben sowohl die Kläger als auch der Beklagte Berufung an das Obergericht des Kantons Aargau. Die Kläger verlangten im Wesentlichen erneut die Verpflichtung des Beklagten zur Bezahlung eines Betrages von Fr. 145'500.-- zuzüglich Zins und sinngemäss die Abweisung der Widerklage, soweit Fr. 19'000.-- übersteigend. Der Beklagte beantragte Abweisung der Klage, soweit Fr. 40'000.-- zuzüglich Zins übersteigend, und die solidarische Verpflichtung der Kläger zur Zahlung von Fr. 89'714.05 zuzüglich Zins. Nachdem die Kläger den Kostenvorschuss für die Berufung innert Frist nicht bezahlt hatten, trat die Vorinstanz mit Entscheid vom 10. April 2013 nicht auf ihre Berufung ein. Daraufhin wiederholten die Kläger ihre mit der Berufung gestellten Anträge im Rahmen einer Anschlussberufung zur Berufung des Beklagten. Mit Entscheid vom 7. März 2014 hiess das Obergericht des Kantons Aargau die Berufung des Beklagten teilweise gut. In teilweiser Gutheissung der Klage verpflichtete es den Beklagten, den Klägern Fr. 40'000.-- zuzüglich 5 % Zins seit 22. Dezember 2006 zu bezahlen. Im Mehrbetrag wies es die Klage ab. Im Übrigen wies es die Berufung des Beklagten ab. Auf die Anschlussberufung der Kläger trat es nicht ein.
B.d. Mit Urteil vom 21. November 2014 schützte das Bundesgericht die von den Klägern gegen den Entscheid des Obergerichts des Kantons Aargau vom 7. März 2014 erhobene Beschwerde teilweise und wies die Sache an die Vorinstanz zurück, damit diese auf die Anschlussberufung eintrete und sie beurteile.
B.e. Das Obergericht hiess mit Entscheid vom 2. Juli 2015 die Berufung des Beklagten teilweise und die Anschlussberufung der Kläger vollumfänglich gut. Unter Berücksichtigung der in Rechtskraft erwachsenen Punkte seines Urteils vom 7. März 2014 verpflichtete es den Beklagten in teilweiser Gutheissung der Klage, den Klägern Fr. 80'000.-- nebst Zins zu 5 % seit 22. Dezember 2006 zu bezahlen; im Übrigen wies es die Klage ab. Sodann verpflichtete es die Kläger in teilweiser Gutheissung der Widerklage, dem Beklagten in solidarischer Haftbarkeit Fr. 19'000.-- nebst Zins zu 5 % seit 28. Januar 2008 zu bezahlen. Im Übrigen wies es die Widerklage ab.
C.
Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, das Urteil des Obergerichts des Kantons Aargau vom 2. Juli 2015 sei aufzuheben und der Beschwerdeführer sei zu verpflichten, den Beschwerdegegnern einen Betrag von Fr. 40'000.-- plus Zins zu 5 % seit 22. Dezember 2006 zu bezahlen. Im Übrigen sei die Klage der Beschwerdegegner abzuweisen. Die Beschwerdegegner seien sodann zu verpflichten, ihm einen Betrag von Fr. 25'359.60 plus Zins zu 5 % seit 28. Januar 2008 zu bezahlen. Die vorinstanzlichen Verfahrenskosten seien entsprechend dem Prozessausgang neu zu verteilen; eventualiter seien die Akten an die Vorinstanz zur Regelung der vorinstanzlichen Prozesskosten zurückzuweisen.
Die Beschwerdegegner tragen auf Abweisung der Beschwerde an. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Die Parteien haben unaufgefordert repliziert und dupliziert.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen der Beschwerde in Zivilsachen sind erfüllt. Unter Vorbehalt einer rechtsgenüglichen Begründung (<ref-law>) ist auf die Beschwerde einzutreten.
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f., 115 E. 2 S. 116).
Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Die Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen und erheblich sind; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Soweit sie den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 2 S. 90 mit Hinweisen).
Zu beachten ist, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid im Ergebnis offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1 S. 18 f.; <ref-ruling> E. 2.1 S. 9; je mit Hinweisen).
3.
Im Rahmen der Klage ist die Qualifikation der ersten, in der Zusatzvereinbarung zum Mietvertrag vom 22. Oktober 2004 enthaltenen Zahlung von Fr. 40'000.-- umstritten. Die Bestimmung lautet:
"- Gebäude- und Landanteil gem. beiliegendem Katasterplan
- Mietvertrags-Auflösung per 30.06.2006 möglich, als Uebergang zu
Kaufvertrag.
- Kaufpreis D._, in U._:
Fr. 800'000.00 (Achthunderttausend Franken) gemäss beil. Grundrissplan
und Gebäudeversicherungs-Policen.
Festpreiszusage bis 31.12.2006;
Anzahlung Fr. 40'000.00 (Vierzigtausend Franken) (5 % des Kaufpreises),
dafür verpflichtet sich der Vermieter/Verkäufer, bis zum 31.12.2006 keine
weiteren Kaufinteressenten zu suchen.
- Ab Datum des Kaufes reduziert sich der Kaufpreis um Fr. 1'000.00 pro
Monate der vorhergegangenen Mietdauer."
3.1. Während das Bezirksgericht davon ausging, es habe sich beim Betrag von Fr. 40'000.-- um ein Haftgeld im Sinne eines Angelds gehandelt und dieses sei dem Beschwerdeführer verfallen, da der geplante Kaufvertrag aus Gründen gescheitert sei, welche die Beschwerdegegner zu vertreten hätten, nahm die Vorinstanz an, die Zusatzvereinbarung zum Mietvertrag sei ein Vorvertrag i.S.v. <ref-law> zu einem Grundstückkaufvertrag. Ein solcher hätte gemäss Art. 22 Abs. 2 und Art. 216 Abs. 2 OR öffentlich bekurkundet werden müssen. Unter den Formzwang fielen gemäss <ref-ruling> E. 5.3 S. 204 auch Konventionalstrafen, wenn diese Leistungspflichten sichern sollten. Daher falle insbesondere auch die Abrede über die Anzahlung von Fr. 40'000.-- unter den Formzwang, sofern diese nach dem Willen der Parteien ein Haftgeld, ein Reugeld oder eine Konventionalstrafe für den Fall des Nichtzustandekommens des Grundstückkaufsvertrages gewesen sei, was hier der Fall sei. Da die Zusatzvereinbarung vorliegend nur einfach schriftlich abgefasst war, sei sie somit nichtig. Die Berufung der Beschwerdegegner auf den Formmangel sei auch nicht rechtsmissbräuchlich i.S.v. <ref-law>. Sie hätten daher Anspruch auf Rückerstattung der geleisteten Fr. 40'000.-- gemäss Art. 62 i.V.m. <ref-law>.
3.2. Ziel der Vertragsauslegung ist es, in erster Linie den übereinstimmenden wirklichen Willen der Parteien festzustellen (vgl. <ref-law>). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und 105 BGG der bundesgerichtlichen Überprüfung entzogen ist (vgl. <ref-ruling> E. 3.2 S. 412 f.; <ref-ruling> E. 2.3.2 S. 274, 626 E. 3.1 S. 632; je mit Hinweisen). Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Richters über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (<ref-law>; <ref-ruling> E. 4.2.1 S. 666 f.; <ref-ruling> E. 2.2.1; <ref-ruling> E. 4 S. 28, 268 E. 2.3.2, 626 E. 3.1 S. 632; je mit Hinweisen). Massgebend ist dabei der Zeitpunkt des Vertragsabschlusses. Nachträgliches Parteiverhalten ist bei der Auslegung nach dem Vertrauensprinzip nicht von Bedeutung; es kann höchstens - im Rahmen der Beweiswürdigung - auf einen tatsächlichen Willen der Parteien schliessen lassen (BGE <ref-ruling> E. 2.2.1 S. 67; <ref-ruling> E. 3.1; <ref-ruling> E. 2.3 S. 680).
Darauf, dass der Vertragspartner eine Vereinbarung nach Treu und Glauben in einem gewissen Sinn hätte verstehen müssen, darf sich die Gegenpartei nur berufen, soweit sie selbst die Bestimmung tatsächlich so verstanden hat. Die Auslegung nach dem Vertrauensprinzip kann nicht zu einem normativen Konsens führen, der so von keiner der Parteien gewollt ist (Urteile 4A_187/2015 und 199/2015 vom 29. September 2015 E. 4.1; 4A_388/2012 vom 18. März 2013 E. 3.4.3; 4A_538/2011 vom 9. März 2012 E. 2.2; 4A_219/2010 vom 28. September 2010 E. 1 mit Hinweisen, nicht publ. in: <ref-ruling>).
3.3. Der Beschwerdeführer bestreitet zu Recht, dass die strittige Zusatzvereinbarung ein Vorvertrag zu einem Kaufvertrag ist.
Gemäss <ref-law> wird durch den Vorvertrag die Verpflichtung zum Abschluss eines künftigen Vertrages begründet. Der Vorvertrag verschafft somit einer oder beiden Parteien das Recht, den Abschluss des Hautpvertrages zu verlangen. Das ist sein wesentliches Merkmal.
Nach den Feststellungen im angefochtenen Entscheid behaupteten nun aber die Beschwerdegegner im vorinstanzlichen Verfahren, dass es sich bei der Zusatzvereinbarung um eine "blosse Absichtserklärung " gehandelt habe. Sie hätten sich damit "in keiner Weise zu einem eigentlichen Kauf verpflichtet. Der Beklagte selbst habe bestätigt, dass es sich um keinen Kauf handle und es egal sei, ob sie die Liegenschaft kauften oder nicht ". Weiter stellte die Vorinstanz fest, der Beschwerdeführer seinerseits habe zwar verneint, dass eine blosse Absichtserklärung gewollt gewesen sei, er habe aber (ebenfalls) die Auffassung vertreten, die Parteien hätten sich mit der Zusatzvereinbarung (noch) nicht zum Abschluss eines Kaufvertrages verpflichtet. Somit vertraten beide Parteien nach den vorinstanzlichen Feststellungen übereinstimmend ein Vertragsverständnis, wonach noch keine Kaufverpflichtung vereinbart war. Die Vorinstanz nahm - ohne dies explizit zu sagen - eine objektive Vertragsauslegung nach Vertrauensprinzip vor. Dies stellt eine Verletzung von Bundesrecht dar, denn die Auslegung nach dem Vertrauensprinzip kann wie erwähnt (vgl. E. 3.2 hiervor) nicht zu einem normativen Konsens führen, der so von keiner der Parteien gewollt ist. Die streitgegenständliche Zusatzvereinbarung ist somit kein Vorvertrag. Daran ändert nichts, dass mit der Zusatzvereinbarung für den Fall eines Vertragsabschlusses bis zum 31. Dezember 2006 der Kaufpreis bestimmt war. Dabei handelt es sich vielmehr um eine sogenannte Punktuation, d.h. die Fixierung eines im Verlauf von Vertragsverhandlungen erreichten Zwischenergebnisses (CORINNE ZELLWEGER-GUTKNECHT, in: Basler Kommentar, Obligationenrecht I, 5. Aufl. 2011, N. 28 zu <ref-law>; vgl. auch ERNST KRAMER, in: Berner Kommentar, Kommentar zu Art. 19-22 OR, 3. Aufl. 1991, N. 63 zu <ref-law>).
3.4. Die Vorinstanz hat ihre Vertragsauslegung ausschliesslich auf den Wortlaut der Zusatzvereinbarung abgestützt. Desgleichen der Beschwerdeführer. Die Beschwerdegegner berufen sich zwar zusätzlich auf mündliche Angaben des Beschwerdeführers, welche durch einen dem Bezirksgericht eingereichten Tonträger aufgezeichnet worden seien; sie legen aber nicht mit Aktenhinweisen dar, wo sie im Rahmen der Anschlussberufung die entsprechenden Tatsachen und Beweismittel prozesskonform eingebracht hätten (vgl. E. 2.2 hiervor). Die Vertragsqualifikation kann daher auch vorliegend nur gestützt auf den Wortlaut erfolgen.
Ein Vorvertrag enthält wie dargelegt die positive Verpflichtung zum Abschluss des Hauptvertrages. Er enthält damit gleichzeitig implizit die negative Verpflichtung, diesen Hauptvertrag nicht mit einer Drittpartei abzuschliessen. Eine Vereinbarung kann aber nun auch nur diese negative Verpflichtung enthalten (Exklusivvereinbarung bzw. sog. pactum de non contrahendo cum tertio; vgl. ERNST KRAMER, a.a.O., N. 61 zu <ref-law>; CORINNE ZELLWEGER-GUTKNECHT, a.a.O., N. 24 zu <ref-law>). Abgesehen von der erwähnten Punktuation des Kaufpreises ist der zentrale Punkt der Zusatzvereinbarung die Verpflichtung des Beschwerdeführers, für einen Zeitraum von über zwei Jahren (22. Oktober 2004 bis 31. Dezember 2006) auf die Suche von anderen Kaufinteressenten zu verzichten. Dabei handelt es sich um eine solche (negative) Exklusivvereinbarung. Der Beschwerdeführer war zwar nicht zum Abschluss eines Kaufvertrages mit den Beschwerdegegnern verpflichtet und entsprechend hatten diese auch keinen diesbezüglichen Erfüllungsanspruch. Die Exklusivvereinbarung wurde lediglich um ihrer selbst Willen abgeschlossen. Die Beschwerdegegner gehen denn auch selbst davon aus, mit dem ihnen dadurch gewährten Zeitrahmen sollte es ihnen ermöglicht werden, die Finanzierungsfrage mit der Bank zu klären und zu prüfen, ob sie das Haus kaufen möchten. Die Gegenleistung für diese Negativverpflichtung war der Betrag von Fr. 40'000.--. Das ergibt sich namentlich aus der Verknüpfung im Vertragstext mit dem Wort dafür ("Anzahlung Fr. 40'000.00 (...), dafür verpflichtet sich der Vermieter/Verkäufer, bis zum 31.12.2006 keine weiteren Kaufinteressenten zu suchen"). Somit ergibt sich, dass der Betrag von Fr. 40'000.-- dem Beschwerdeführer verfallen sollte, sofern es nicht zum Kauf kommt und der Beschwerdeführer bis Ende 2006 zuwartet und keinen Drittkäufer sucht, wie bereits das Bezirksgericht zutreffend dargelegt hat. Wäre es hingegen zu einem Kauf gekommen, wäre der Betrag von Fr. 40'000.-- an den Kaufpreis angerechnet worden (" Anzahlung von Fr. 40'000.--"). Die Ausführungen der Beschwerdegegner, wonach der Beschwerdeführer einen entsprechenden Schaden für das angeblich unterlassene Suchen von neuen Kaufinteressenten zu beziffern hätte, gehen an der Sache vorbei.
Dafür, dass der Beschwerdeführer seine (Negativ-) Verpflichtung nicht eingehalten hätte, sind die Beschwerdegegner beweispflichtig. Die Vorinstanz hat dazu keine Feststellungen getroffen. Die Beschwerdegegner ergänzen im bundesgerichtlichen Verfahren den Sachverhalt, erfüllen dabei aber die Anforderungen an eine Sachverhaltsrüge (vgl. E. 2.2 hiervor) offensichtlich nicht. Ebenso wenig sind die Voraussetzungen für die Einvernahme einer Zeugin gegeben, wie die Beschwerdegegner dies in ihrem Schreiben vom 30. September 2015 im Nachgang zu ihrer Beschwerdeantwort beantragen. Sie legen weder dar, diesen Beweisantrag im kantonalen Verfahren bereits gestellt zu haben noch, dass erst das kantonale Urteil Anlass zur Einvernahme der Zeugin gegeben hätte (<ref-law>). Darauf ist nicht einzutreten. Der Beschwerdeführer ist somit nicht verpflichtet, den Betrag von Fr. 40'000.-- zurückzuerstatten.
4.
Bei Beendigung des Mietverhältnisses muss der Mieter die Mietsache in dem Zustand zurückgeben, der sich aus dem vertragsgemässen Gebrauch ergibt (<ref-law>).
Der Beschwerdeführer hatte im Rahmen seiner Widerklage verschiedene Mängel der Mietsache bei deren Rückgabe geltend gemacht. Das Bezirksgericht hatte ihm dafür in teilweiser Gutheissung der Widerklage insgesamt den Betrag von Fr. 25'359.60 zugesprochen. Demgegenüber reduzierte die Vorinstanz diesen Betrag auf den von den Beschwerdegegnern anerkannten Betrag von Fr. 19'000.--. Nicht geschützt wurden Reinigungskosten von Fr. 2'690.-- und Instandstellungskosten für den Garten im Betrag von Fr. 3'669.60.
4.1. Nach Ziff. 18 Abs. 2 der Allgemeinen Bestimmungen zum Mietvertrag vom 22. Oktober 2004, auf die in Ziff. 9 des Mietvertrages verwiesen wird, musste das Mietobjekt einwandfrei gereinigt zurückgegeben werden. Diesbezüglich nahm die Vorinstanz einerseits an, die Mängelrüge des Beschwerdeführers sei ungenügend gewesen. Der Vermieter müsse darin einzeln und unterscheidbar auflisten, für welche Mängel der Mieter gerade stehen soll. Dies sei mit dem Schreiben des Beschwerdeführers an die Beschwerdegegner vom 12. Januar 2007 nicht der Fall gewesen, unabhängig davon, dass er dem Schreiben die Mängelliste des von ihm beigezogenen Immobilientreuhänders H._ beigelegt habe. Es könne daher auch offen bleiben, ob das Schreiben vom 12. Januar 2007 rechtzeitig i.S.v. <ref-law> erfolgt sei. In einer zweiten Begründung legte die Vorinstanz sodann dar, dass die Forderung auch deshalb nicht geschützt werden könne, weil der Schaden ungenügend substanziiert sei. Die eingereichte Offerte der I._ GmbH vom 7. März 2007, welche für "Reinigung grösseres Einfamilienhaus in W._" eine Pauschale von Fr. 2'000.-- zzgl. MwSt sowie für "Tonplatteneinölen inkl. Produkt" pauschal Fr. 500.-- zzgl. MwSt vorsah, genüge nicht. Allein mit dieser Offerte vermöge er nicht zu beweisen, dass ihm der behauptete Schaden wirklich entstanden sei. Mit einer dritten Begründung schliesslich erachtete die Vorinstanz auch den Nachweis des Kausalzusammenhangs nicht als erbracht. Denn der Beschwerdeführer habe nicht nachgewiesen, dass die Reinigungsarbeiten auf die behauptete ungenügende Reinigung durch die Beschwerdegegner zurückzuführen sei. Mit der letzten Begründung bezog sich die Vorinstanz implizit auf den Einwand der Beschwerdegegner, die Offerte der I._ GmbH datiere vom 7. März 2007, also lange nach dem Zeitpunkt, in welchem sie die Liegenschaft verlassen hätten und zwischenzeitlich sei diese auch wieder benützt bzw. von Interessenten betreten worden.
Der Beschwerdeführer äussert sich namentlich zur Substanziierung der Mängelrüge. Zur Schadenhöhe und zum Kausalzusammenhang verweist er lediglich erneut auf die Offerte der Reinigungsfirma und macht allgemein geltend, er habe das Zeugnis des Zeugen H._ beantragt. Damit liegt offensichtlich keine genügende Willkürrüge vor. Darauf ist nicht einzutreten und es bleibt bei der Abweisung de Position von Fr. 2'690.-- für die Reinigung.
4.2. Gemäss Ziff. 8 Abs. 1 der AGB zum Mietvertrag waren die Beschwerdegegner verpflichtet, den zum Mietobjekt gehörenden Garten und die Umgebungsanlage auf ihre Kosten fachgerecht zu unterhalten. Insbesondere mussten sie die Bäume und Sträucher zur richtigen Jahreszeit durch einen Fachmann zurückschneiden lassen und die übrigen Gartenarbeiten regelmässig vornehmen lassen, so dass ein guter und gepflegter Gesamteindruck der Liegenschaft erhalten blieb.
Die Vorinstanz stellte fest, im Abnahmeprotokoll sei der Garten mit "i.O." bezeichnet worden. Wenn der Garten wirklich in dem Ausmass vernachlässigt gewesen wäre, wie der Beschwerdeführer geltend mache, hätte er diesen ohne weiteres erkennbaren Mangel ebenfalls unverzüglich rügen müssen. Auch diesbezüglich liege aber aus den gleichen Gründen wie hinsichtlich der Reinigung keine genügend substanziierte Rüge vor. Und wie hinsichtlich der Reinigung wäre zudem der Schaden ungenügend substanziiert, da der Beschwerdeführer lediglich eine Offerte der J._ AG vom 8. März 2007 eingereicht habe. Eine Offerte genüge als Schadenbeweis nicht. Schliesslich sei auch bezüglich des Gartens festzustellen, dass der Beschwerdeführer nicht nachgewiesen habe, inwiefern entstandene Kosten auf die behauptete Vernachlässigung durch die Beschwerdegegner zurückzuführen sei.
Es ist nicht willkürlich, wenn die Vorinstanz eine blosse Offerte zum Schadensnachweis nicht genügen liess. Der Beschwerdeführer setzt sich mit dieser Würdigung auch nicht rechtsgenüglich auseinander, wenn er erneut lediglich auf die Offerte verweist und ausführt, damit seien die Kosten "geschätzt offeriert" worden. Eine genügende Rüge liegt nicht vor. Sofern er im Übrigen mit seinem Einwand geltend machen wollte, eine Schätzung der Kosten würde genügen, wäre dem nicht zu folgen. Nachdem die Offerte bereits Anfang März 2007 erstellt, die Widerklage aber erst am 28. Januar 2008 erhoben wurde, ist nämlich nicht nachvollziehbar, weshalb der Beschwerdeführer die tatsächlichen Kosten nicht mit einer Rechnung bewiesen hat. Eine Beweisnot, die eine Schätzung erlauben würde, ist jedenfalls nicht ersichtlich. Damit kann offen bleiben, inwieweit der Garten tatsächlich in vertragswidrigem Zustand zurückgegeben wurde. Auch diesbezüglich ist die Beschwerde abzuweisen.
5.
Die Beschwerde ist teilweise gutzuheissen und die Klage im Betrag von Fr. 40'000.-- nebst 5 % Zins seit 22. Dezember 2006 zu schützen. Entsprechend dem Ausgang des Verfahrens werden die Kosten im Beschwerdeverfahren dem Beschwerdeführer zu 15 % und den Beschwerdegegnern zu 85 % auferlegt (Art. 66 Abs. 1 und 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
In teilweiser Gutheissung der Beschwerde wird das Urteil des Obergerichts des Kantons Aargau vom 2. Juli 2015 aufgehoben. Die Ziffer 1 des Urteils des Bezirksgerichts Zofingen vom 21. Juni 2012 wird wie folgt neu gefasst:
1. 1.1.
In teilweiser Gutheissung der Klage wird der Beklagte und Widerkläger verpflichtet, den Klägern und Widerbeklagten den Betrag von Fr. 40'000.00 nebst 5 % Zins seit 22. Dezember 2006 zu bezahlen. Im Mehrbetrag wird die Klage abgewiesen.
1.2 In teilweiser Gutheissung der Widerklage werden die Kläger und Widerbeklagten unter solidarischen Haftbarkeit verpflichtet, dem Beklagten und Widerkläger den Betrag von Fr. 19'000.00 nebst 5 % Zins seit 28. Januar 2008 zu bezahlen. Im Mehrbetrag wird die Widerklage abgewiesen.
2.
Die Gerichtskosten von Fr. 2'500.-- werden im Betrag von Fr. 2'125.-- unter solidarischer Haftbarkeit den Beschwerdegegnern und im Betrag von Fr. 375.-- dem Beschwerdeführer auferlegt.
3.
Die Beschwerdegegner haben den Beschwerdeführer unter solidarischer Haftbarkeit für das bundesgerichtliche Verfahren mit Fr. 2'100.-- zu entschädigen.
4.
Zur Neufestsetzung der Kosten des kantonalen Verfahrens wird die Sache an das Obergericht zurückgewiesen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 18. November 2015
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Die Gerichtsschreiberin: Reitze-Page