Sachverhalt:
A.
B._ (Vermieter, Kläger, Beschwerdegegner) und A._ (Mieter, Beklagter, Beschwerdeführer) schlossen am 28. April bzw. 17. Juni 2005 einen Mietvertrag (inkl. Zusatzvereinbarung) über die Liegenschaft U._ ab. Mit Schreiben vom 11. November 2008 kündigte der Vermieter das Mietverhältnis per 31. Dezember 2008. Nach Durchführung des Schlichtungsverfahrens bestätigte das Gerichtspräsidium Brugg die Rechtmässigkeit der Kündigung. Auf eine dagegen erhobene Beschwerde trat das Obergericht des Kantons Aargau nicht ein, was letztinstanzlich vom Bundesgericht geschützt wurde (U rteil 4A_274/2010 vom 12. August 2010). Nachdem der Vermieter in der Folge das Ausweisungsverfahren eingeleitet hatte, wurde der Mieter mit Urteil des Gerichtspräsidiums Brugg vom 10. November 2010, bestätigt durch das Obergericht des Kantons Aargau, angewiesen, die Liegenschaft zu räumen.
B.
B.a. Am 1. Februar 2012 reichte der Vermieter beim Bezirksgericht Brugg Klage gegen den Mieter auf Zahlung von Fr. 74'850.-- nebst Zins seit dem 1. September 2009 ein. Das Bezirksgericht Brugg wies die Klage mit Entscheid vom 5. März 2013 ab.
B.b. Dagegen erhob der Kläger Berufung an das Obergericht des Kantons Aargau. Mit Entscheid vom 24. September 2014 hiess dieses die Berufung teilweise gut, hob das Urteil des Bezirksgerichts Brugg vom 5. März 2013 auf und verpflichtete den Beklagten in teilweiser Gutheissung der Klage, dem Kläger Fr. 55'450.-- zuzüglich 5 % Zins seit dem 1. September 2009 zu bezahlen.
C.
Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, den Entscheid des Obergerichts des Kantons Aargau vom 24. September 2014 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Der Beschwerdeführer hat unaufgefordert eine Replik eingereicht.
D.
Mit Präsidialverfügung vom 5. Januar 2015 wurde das Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 1 S. 417 mit Hinweisen).
1.1. Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Endentscheid (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>). Bei der zu beurteilenden Streitsache handelt es sich um eine vermögensrechtliche Angelegenheit. Der Streitwert übersteigt die Grenze nach <ref-law> in mietrechtlichen Fällen.
1.2. Die Beschwerde hat ein Rechtsbegehren zu enthalten (<ref-law>). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (<ref-law>), ist grundsätzlich ein materieller Antrag erforderlich; Anträge auf Rückweisung der Sache an die Vorinstanz zu neuer Entscheidung oder blosse Aufhebungsanträge genügen nicht und machen die Beschwerde unzulässig (<ref-ruling> E. 3.1 S. 489 f.). Ein blosser Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht im Falle der Gutheissung nicht selbst in der Sache entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 1.2 S. 135; <ref-ruling> E. 3.1 S. 489 f.).
Der Beschwerdeführer beantragt, der angefochtene Entscheid des Obergerichts des Kantons Aargau sei aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. In seiner Beschwerde legt er dar, es müsse eine Rückweisung an die Vorinstanz erfolgen, da in beiden angefochtenen Punkten - die Gegenforderungen des Beschwerdeführers wegen ihm entgangenen Einnahmen aus dem Untermietverhältnis sowie der Abwartsentschädigung - noch keine materielle Entscheide vorliegen würden und noch Beweise abgenommen werden müssten.
Mit dem angefochtenen Entscheid hat die Vorinstanz beide der geltend gemachten Gegenforderungen abgewiesen. Entsprechend hat sie bezüglich deren Höhe keine Feststellungen getroffen, weshalb dem Bundesgericht - im Falle einer Gutheissung der Beschwerde - die erforderlichen Sachverhaltsfeststellungen fehlen würden, um in der Sache selbst zu entscheiden. Der Rückweisungsantrag kann unter diesen Gegebenheiten als genügend angesehen werden.
1.3. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 i.V.m. <ref-law>) - auf die Beschwerde einzutreten.
2.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
3.
Im vorinstanzlichen Verfahren war streitig, ob der Beschwerdegegner gegenüber dem Beschwerdeführer aufgrund von Mietzinsausständen und aufgrund des Verbleibens des Beschwerdeführers in den Mieträumlichkeiten nach der Kündigung einen Anspruch auf Bezahlung von Fr. 74'850.-- nebst Zins hat. Dies wurde von der Vorinstanz bejaht und die Klage im Umfang von Fr. 55'450.-- (für ausstehende Mietzinsen von November 2007 bis Februar 2011 abzüglich den bereits bezahlten Mietzinsen) gutgeheissen. Abgewiesen hat die Vorinstanz jedoch die (in Verrechnung gebrachten) Gegenforderungen des Beschwerdeführers wegen ihm entgangenen Einnahmen aus Untermietverhältnis und einer Abwartsentschädigung. Nur insoweit wird das Urteil angefochten.
3.1. Der Beschwerdeführer rügt das vorinstanzliche Urteil in zweifacher Hinsicht: Unter dem Titel der falschen Sachverhaltsfeststellung durch die Vorinstanz macht er geltend, die Vorinstanz habe sowohl bezüglich seiner Gegenforderung aus Untermiete als auch für die Abwartsentschädigung den Sachverhalt unrichtig festgestellt.
3.2. Im Zusammenhang mit dem Untermietverhältnis macht er geltend, entgegen der Ansicht der Vorinstanz, sei das Mietobjekt unter Ziffer 2.2 des Mietvertrages klar umschrieben und allfällige Zusatzvereinbarungen zum Mietvertrag würden sich - ebenfalls gemäss klarer Umschreibung - nur noch zur Art und Benutzung des bereits vollständig definierten Mietobjekts äussern. Gemietet worden sei gemäss Ziffer 2.2 des Mietvertrages das (ganze) Geschäftshaus U._. Damit stehe fest, dass der Beschwerdeführer Anspruch auf die ihm entgangenen Einnahmen aus Untermietverhältnissen habe.
3.3. Soweit der Beschwerdeführer damit eine unrichtige Feststellung des Sachverhalts rügt (<ref-law>), verkennt er, dass die Ausführungen der Vorinstanz im Rahmen der Auslegung des Mietvertrages sowie der Zusatzvereinbarung nach dem Vertrauensprinzip erfolgten, die das Bundesgericht als Rechtsfrage prüft (<ref-ruling> E. 4 S. 27 f.). Insoweit liegt keine tatsächliche Feststellung vor.
3.3.1. Die Vorinstanz hielt fest, dem Mietvertrag zwischen den Parteien sei zu entnehmen, dass unter der Rubrik "2. Mietobjekt" als "Mietliegenschaft (Adresse) " U._ und als "Mietobjekt" Geschäftshaus angegeben wurde. Weiter stehe unter der gleichen Rubrik, unter "zur Benützung als:" Verkauf- und Lagerräume, Parkplätze etc., gemäss separatem Beschrieb. In der Zusatzvereinbarung zum Mietvertrag für Geschäftsräume, welche integrierten Bestandteil des vorerwähnten Mietvertrages darstelle und von beiden Parteien unterzeichnet worden sei, stehe u.a., dass weitere Bestimmungen und Zusatzvereinbarungen gemäss separater Beilage zum Mietvertrag bestünden. Im Dokument "Besondere Bestimmungen und Zusatzvereinbarungen zum Mietvertrag für Geschäftsräume vom 28.04.2005" sei unter dem Titel "Mietobjekt" Folgendes aufgelistet:
"- Verkaufsräume im Erdgeschoss mit Galerie (mit einer Holztreppe zu erreichen).
- Aufenthaltsraum für Verkauf und Ausstellungen und kleiner Theke mit Snacks, warmen und kalten Getränken. Es dürfen keine Spirituosen ausgeschenkt bzw. verkauft werden.
- Kleines Büro.
- Nassraum mit WC.
- Autoabstellplätze im Freien. Es dürfen nur die Plätze frontseitig zum Gebäude benutzt werden.
- Gedeckte kleine mobile Sitzvorrichtung mit Bänken."
Nach Auslegung der Verträge nach dem Vertrauensprinzip kam die Vorinstanz zum Schluss, dass obwohl unter der Rubrik Mietobjekt im Mietvertrag "Geschäftshaus" stehe, aufgrund der detaillierten Auflistung des Mietobjektes im Dokument "Besondere Bestimmungen und Zusatzvereinbarungen zum Mietvertrag für Geschäftsräume vom 25.04.2005" davon auszugehen sei, dass nur die dort beschriebenen "Räumlichkeiten" tatsächlich zum Mietobjekt gehören würden. Denn die Auflistung lediglich einiger einzelner "Räumlichkeiten", die ohnehin alle im Mietobjekt inbegriffen seien, würde sonst wenig Sinn machen, wenn die ganze Liegenschaft (inkl. dieser separat aufgezählten "Räumlichkeiten") vermietet worden sei. Denn wäre die ganze Liegenschaft vermietet worden, so hätte sich diese Aufzählung erübrigt. Der Mietvertrag mit den beiden Zusätzen habe vom Beschwerdeführer damit nur so verstanden werden können und dürfen, dass die in den besonderen Bestimmungen aufgeführten "Räumlichkeiten" lediglich das Mietobjekt genauer spezifizieren würden. Entsprechend könne der Beschwerdeführer keinen Anspruch aus ihm entgangenen Einnahmen aus Untermietverhältnissen geltend machen.
3.3.2. Die Auslegung des Mietvertrages sowie der beiden Zusatzvereinbarungen durch die Vorinstanz nach dem Vertrauensprinzip ist bundesrechtlich nicht zu beanstanden. Die Auffassung des Beschwerdeführers, die Zusatzvereinbarung sei nur hinsichtlich der "Art und Benutzung" des Mietobjekts geschlossen worden, überzeugt nicht. Der Beschwerdeführer legt denn auch gar nicht erst dar, weshalb bezüglich einzelner "Räumlichkeiten" die Benutzung hätte definiert werden müssen, noch was sich aus der Zusatzvereinbarung konkret für eine Benutzung ergeben würde. Allein die Tatsache, dass in der Zusatzvereinbarung bei der Beschreibung des Mietobjekts die Lagerräume nicht erwähnt werden, wie dies der Beschwerdeführer vorbringt, obwohl diese im Mietvertrag unter der Rubrik "zur Benützung als:" genannt werden, mag dieses Auslegungsergebnis auch nicht umzustossen. Denn aufgelistet werden in der Zusatzvereinbarung nach dem Gesagten die gemieteten bzw. vermieteten Räume, nicht jedoch deren Benutzung (als Verkaufs- oder Lagerräume), welche dem Mieter frei steht. Mit der Vorinstanz ist demnach davon auszugehen, dass die Zusatzvereinbarung nur so verstanden werden kann, dass darin die einzelnen gemieteten Räumlichkeiten, die das Mietobjekt an und für sich bilden, aufgelistet werden. Aus dem Verweis auf Seite 8 der Replik ergibt sich denn auch nicht, dass dies vom Beschwerdegegner anders verstanden worden wäre. Insoweit ist die Vorinstanz ohne Verletzung von Bundesrecht davon ausgegangen, dass der Beschwerdeführer keinen Anspruch aus ihm entgangenen Einnahmen aus Untermietverhältnissen geltend machen könne.
3.4. Bezüglich der Gegenforderung für eine Abwartsentschädigung hielt die Vorinstanz fest, diese sei vom Beschwerdeführer zu wenig substanziiert worden. Während dem er in der Klageantwort noch nicht behauptet habe, dass es hinsichtlich der Abwartsentschädigung zu einem Vertragsschluss gekommen sei, sei die Darstellung in der Duplik aber dahin gehend zu verstehen. Diesbezüglich führe der Beschwerdeführer aber lediglich aus, wann die Abwartsentschädigung angeblich abgeschlossen worden sei, ohne jedoch konkrete Beweismittel anzurufen. Insbesondere habe er in seiner Duplik nicht beantragt, den Zeugen C._ zu befragen, sondern habe nur pauschal auf alle angerufenen Beweismittel verwiesen, was nicht genüge. Zudem sei denn auch nicht ersichtlich, aus welchem Grund der Zeuge C._ hätte befragt werden sollen, habe der Beschwerdeführer doch nie behauptet, dass dieser beim Abschluss der angeblich mündlich abgeschlossenen Vereinbarung über die Abwartsentschädigung anwesend gewesen sei.
Diesen Vorwurf der Vorinstanz, er sei seiner Behauptungs- und Substanziierungspflicht nicht nachgekommen, vermag der Beschwerdeführer nicht zu entkräften. Die Pflicht einer Prozesspartei, ihre Sachdarstellungen zu substanziieren, bedeutet, dass die Partei die Tatsachen nicht nur in den Grundzügen, sondern so umfassend und klar darzulegen hat, dass darüber Beweis abgenommen werden kann. Der Beschwerdeführer erhebt keine ausdrückliche Rüge einer Rechtsverletzung. Er bringt lediglich vor, die Befragung des Zeugen C._ sei sehr wohl bereits in seiner Klageantwort beantragt worden. Dies ergebe sich einerseits aus Seite 7 mit Verweis auf die Klagebeilage 4 sowie aus den Seiten 9 und 10 seiner Klageantwort. Zudem habe er dargelegt, dass der Zeuge C._ beim Abschluss der mündlichen Vereinbarung über die Abwartsentschädigung anwesend gewesen sei, weshalb dieser als Zeuge zu befragen sei. Aus den angegebenen Stellen der Klageantwort gehen indessen solche Behauptungen nicht präzis hervor, zumal der Verweis auf Beilagen eine Behauptung nicht ersetzen kann. Damit legt der Beschwerdeführer nach wie vor nicht dar, dass er die Befragung des Zeugen C._ zu konkreten Behauptungen beantragt hätte. Sollte er die Verletzung seines Gehörsanspruchs durch Nichtabnahme von Beweismitteln rügen wollen, so fehlt es an einer hinlänglichen Begründung.
4.
Nach dem Gesagten ist die Beschwerde unbegründet und ist abzuweisen. Dem Verfahrensausgang entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG). Der Beschwerdegegner hat eine Kostennote eingereicht über Fr. 1'926.30, welche geschützt werden kann, zumal die geltend gemachte Summe unterhalb dem Betrag bleibt, der gemäss Praxis des Bundesgerichts zugesprochen würde.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 1'926.30 zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 3. Februar 2015
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Die Gerichtsschreiberin: Reitze