Sachverhalt: A. B._ (Beschwerdegegner) vermietete A._ (Beschwerdeführer) mit Mietvertrag vom 4. Mai 2004 per 1. Mai 2004 rund 300 m2 Raum im 1. OG an der Strasse K._ in L._ zur Benützung als Gewerberaum/Atelier sowie einen Parkplatz an der selben Adresse. Der Mietvertrag war erstmals kündbar per 30. Juni 2009. Es bestand eine Option auf Verlängerung um weitere fünf Jahre. Als Mietpreis wurden Fr. 2'040.-- zuzüglich Nebenkosten von Fr. 250.-- pro Monat vereinbart. Der Beschwerdeführer teilte dem Beschwerdegegner mit Schreiben vom 11. Juli 2006 u.a. mit, er erlaube sich, auf eigene Kosten eine Bodenprobe auf gesundheitsbedenkliche Stoffe untersuchen zu lassen, da er seit dem Einzug in das Mietobjekt vermehrt unter Kopfschmerzen und Schwindelanfällen leide. Mit weiterem Schreiben vom 5. März 2007 eröffnete er dem Beschwerdegegner, gemäss den Untersuchungsberichten der X._ AG und der Y._ AG seien hohe Konzentrationen an flüchtigen Teeröl-Komponenten in der Raumluft des Mietobjekts vorhanden, die gemäss Giftliste in beheizten Innenräumen nicht vorhanden sein dürften. Er forderte ihn zur sofortigen Mängelbehebung auf und setzte ihm Frist bis 20. März 2007 zur Erklärung betreffend Bereitschaft zur Mängelbeseitigung, Art derselben und Terminplan. Für den Unterlassungsfall drohte er ihm die ausserordentliche Kündigung gemäss Art. 259b OR an. Der Beschwerdegegner bat mit Schreiben vom 20. März 2007 um einen Besprechungstermin mit dem Beschwerdeführer und der Y._ AG. Am 12. April 2007 besichtigten die Parteien das Mietobjekt zusammen mit Herrn C._ von der Y._ AG und am 18. April 2007 fand ein weiterer Augenschein mit den Parteien statt. Der Beschwerdeführer fasste das Ergebnis der Besprechungen im Schreiben vom 20. April 2007 zusammen und erklärte, er erwarte, dass der Beschwerdegegner das in Aussicht gestellte Sanierungskonzept in der Woche vom 30. April bis 4. Mai 2007 präsentiere. Die vorgeschlagene Laminatlösung könne dabei nicht akzeptiert werden, da sie gegenüber dem aktuellen Holzboden eine Verschlechterung darstelle. Mit Schreiben vom 11. Juni 2007 forderte der Beschwerdeführer vom Beschwerdegegner erneut eine Sanierung des (angeblich) stark kontaminierten Bodens bis 29. Juni 2007 und einen Vorschlag für eine angemessene Herabsetzung des Mietzinses ab Meldung des Schadens bis zu dessen Beseitigung. Für den Unterlassungsfall drohte er erneut die Kündigung des Mietverhältnisses an. Der Beschwerdegegner sagte mit Schreiben vom 14. Mai (recte: Juni) 2007 die Sanierung des Bodens bis Ende Juni 2007 zu. Der Beschwerdeführer verlangte vom Beschwerdegegner mit Schreiben vom 18. Juni 2007 eine Herabsetzung des monatlichen Mietzinses um 50 % ab Juli 2006 und setzte ihm Frist von 20 Tagen zur Bezahlung der bis dahin aufgelaufenen Forderung von Fr. 19'066.20. Im Antwortschreiben vom 26. Juli (recte: Juni) 2007 lehnte der Beschwerdegegner die Forderung ab und erklärte, er sei zur Ausführung der Bodensanierung bereit, aufgrund der Verhaltensweise des Beschwerdeführers dazu aber nicht in der Lage, was vom Beschwerdeführer mit Schreiben vom 27. Juni 2007 bestritten wurde. Nach einem weiteren Briefwechsel kündigte der Beschwerdeführer den Mietvertrag mit Schreiben vom 1. August 2007 gestützt auf Art. 259b lit. a OR fristlos. Vor der Schlichtungsbehörde für das Mietwesen des Bezirks Baden kam zwischen den Parteien keine Einigung über die in der Folge vom Beschwerdeführer gestellten Forderungen zustande. B. Am 8. Januar 2009 erhob der Beschwerdeführer beim Bezirksgericht Baden Klage gegen den Beschwerdegegner mit den folgenden Anträgen: "1. Es sei in Bezug auf den Mietvertrag vom 4. Mai 2004 festzustellen, dass vom Juli 2006 bis Februar 2007 eine Mietzinsreduktion von 50 % pro Monat auf die Miete von Fr. 2'290.00 pro Monat und vom März 2007 bis und mit September 2007 eine Mietzinsreduktion von 100 % pro Monat auf die Miete von Fr. 2'290.00 pro Monat gerechtfertigt sei. 2. Es sei der Beklagte zu verpflichten, dem Kläger Fr. 187'045.90, zuzüglich Verzugszins zu 5 % ab 29. Dezember 2007, zu bezahlen. 3. (...)." Das Bezirksgericht stellte am 13. Dezember 2011 in teilweiser Gutheissung der Klage fest, dass für die Zeit vom 6. März 2007 bis zum 30. September 2007 eine Mietzinsreduktion von 50 % auf dem monatlichen Mietzins von Fr. 2'040.-- gerechtfertigt sei. Sodann verpflichtete es den Beschwerdegegner, dem Beschwerdeführer als Schadenersatz für getätigte, nicht amortisierte Investitionen in das Mietobjekt den Betrag von Fr. 77'851.40 nebst Zins zu 5 % seit dem 29. Dezember 2007 zu bezahlen. Mit Entscheid vom 14. November 2012 hiess das Obergericht des Kantons Aargau eine vom Beschwerdegegner dagegen eingelegte Berufung teilweise gut und hob das Urteil des Bezirksgerichts auf. Es trat auf Ziffer 1 des Klagebegehrens nicht ein. In teilweiser Gutheissung der Klage verpflichtete es den Beschwerdegegner, dem Beschwerdeführer infolge Herabsetzung des Mietzinses Fr. 5'151.50 nebst Zins zu 5 % seit 29. Dezember 2007 auf Fr. 3'855.40 und Zins zu 5 % seit 8. Januar 2008 auf Fr. 1'296.10 zu bezahlen. Im Übrigen wies es die Klage ab. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, diesen Entscheid aufzuheben und den Beschwerdegegner zu verpflichten, ihm Fr. 5'151.50 sowie Fr. 77'851.40, beides nebst Zins zu 5 % seit 29. Dezember 2007 zu bezahlen. Eventuell sei die Klage zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung zur Beschwerde. Der Beschwerdegegner schliesst auf deren Abweisung. Die Parteien reichten Replik und Duplik ein.