Sachverhalt: A. B._ (Vermieter, Kläger, Beschwerdegegner) und A._ (Mieter, Beklagter, Beschwerdeführer) schlossen am 28. April bzw. 17. Juni 2005 einen Mietvertrag (inkl. Zusatzvereinbarung) über die Liegenschaft U._ ab. Mit Schreiben vom 11. November 2008 kündigte der Vermieter das Mietverhältnis per 31. Dezember 2008. Nach Durchführung des Schlichtungsverfahrens bestätigte das Gerichtspräsidium Brugg die Rechtmässigkeit der Kündigung. Auf eine dagegen erhobene Beschwerde trat das Obergericht des Kantons Aargau nicht ein, was letztinstanzlich vom Bundesgericht geschützt wurde (U rteil 4A_274/2010 vom 12. August 2010). Nachdem der Vermieter in der Folge das Ausweisungsverfahren eingeleitet hatte, wurde der Mieter mit Urteil des Gerichtspräsidiums Brugg vom 10. November 2010, bestätigt durch das Obergericht des Kantons Aargau, angewiesen, die Liegenschaft zu räumen. B. B.a. Am 1. Februar 2012 reichte der Vermieter beim Bezirksgericht Brugg Klage gegen den Mieter auf Zahlung von Fr. 74'850.-- nebst Zins seit dem 1. September 2009 ein. Das Bezirksgericht Brugg wies die Klage mit Entscheid vom 5. März 2013 ab. B.b. Dagegen erhob der Kläger Berufung an das Obergericht des Kantons Aargau. Mit Entscheid vom 24. September 2014 hiess dieses die Berufung teilweise gut, hob das Urteil des Bezirksgerichts Brugg vom 5. März 2013 auf und verpflichtete den Beklagten in teilweiser Gutheissung der Klage, dem Kläger Fr. 55'450.-- zuzüglich 5 % Zins seit dem 1. September 2009 zu bezahlen. C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, den Entscheid des Obergerichts des Kantons Aargau vom 24. September 2014 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat unaufgefordert eine Replik eingereicht. D. Mit Präsidialverfügung vom 5. Januar 2015 wurde das Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen.