Sachverhalt: A. Am 24. April 2009 kaufte A._ (Beklagter, Beschwerdeführer) für Fr. 2'035'000.-- drei Stockwerkeigentumseinheiten sowie vier Tiefgaragenplätze zu Miteigentum an der Liegenschaft Nr. xxx, Grundbuch U._, von der B._ AG (Klägerin, Beschwerdegegnerin). Die Liegenschaft war im Zeitpunkt des Vertragsabschlusses eine Baustelle. Die Klägerin übernahm die Gesamtausführung der Baute als Generalunternehmerin entsprechend dem in der Dokumentation "U._" enthaltenen Baubeschrieb. Ergänzend dazu schlossen die Parteien am 24. April 2009 eine "Vereinbarung betreffend Immobilienkauf" ab, wobei sie unter der Rubrik "Baubeschrieb und Preis" erklärten, sie seien sich darüber im Klaren, dass es zu Mehr- oder Minderkosten kommen könne, wenn der Käufer andere als die dem Baubeschrieb zugrunde liegende Materialien verwenden würde. Dabei beziehe sich die Möglichkeit, andere Materialien zu verwenden, auf die Bereiche "Küche, Sanitäranlagen, Ofen sowie Wand- und Bodenplatten", wobei die Parteien gleichzeitig die Preise für die Ausführungen definierten. Ausserdem sah die "Vereinbarung betreffend Immobilienkauf" vor, dass die Verkäuferin eine Mehr- und Minderkostenabrechnung zu erstellen hatte. Am 10. Dezember 2010 stellte die Klägerin dem Beklagten die Abrechnung über die Mehr- und Minderkosten zu. Dabei machte die Klägerin insgesamt Fr. 283'546.96 geltend, bestehend aus Mehrkosten in der Höhe von Fr. 240'639.41, zusätzlichen Generalunternehmerkosten von Fr. 38'463.11 und einem Verzugszins von Fr. 4'444.44. Am 29. Dezember 2010 teilte der Beklagte der Klägerin mit, dass er die Abrechnung nicht akzeptiere. B. Mit Eingabe vom 12. Dezember 2011 gelangte die Klägerin an das Bezirksgericht Kreuzlingen und beantragte, es sei der Beklagte unter Beseitigung des Rechtsvorschlags zu verpflichten, Fr. 283'546.95 nebst Zins zu bezahlen sowie die Betreibungskosten zu ersetzen. Mit Entscheid vom 10. November 2015 schützte das Bezirksgericht die Klage im Umfang vom Fr. 130'978.94 zuzüglich Zins zu 5 % seit 10. Januar 2011. Gleichzeitig hob es in der Betreibung Nr. yyy des Betreibungsamtes Albula den Rechtsvorschlag in diesem Umfang auf. Gegen diesen Entscheid erhob der Beklagte Berufung an das Obergericht des Kantons Thurgau und beantragte, die Klage sei abzuweisen. Eventualiter sei die Sache zur vollständigen Beweisabnahme an die Erstinstanz zurückzuweisen. Im Entscheid vom 14. April 2016 erkannte das Obergericht, dass die Berufung teilweise begründet sei, soweit darauf eingetreten werde. Es erwog bezüglich der vom Beschwerdeführer beanstandeten Mehr- bzw. Minderkosten, dass die von der Erstinstanz berechneten Mehrkosten für die Elektroinstallationen, die Sanitäranlagen, die Plattenbeläge bzw. den nachträglichen Einbau von Granitplatten auf der Terrasse und für die "Gipserarbeiten" sowie die Mehr- bzw. Minderwertberechnung für die Boden- und Wandbeläge nicht zu beanstanden seien. Bezüglich der Mehrkosten für "Schreinerarbeiten" kam die Vorinstanz entgegen der Erstinstanz zum Schluss, dass die Beschwerdegegnerin keinen Ersatz für diese Mehrkosten beanspruchen könne. Damit reduziere sich die Forderung der Beschwerdegegnerin im Umfang von Fr. 10'378.04 auf Fr. 102'581.04. Dazu komme das unstrittige Architekturhonorar in Höhe von Fr. 1'076.--. Sodann sei zusätzlich ein Honorar für die Generalunternehmerin von 15 % oder von Fr. 15'387.15 zu veranschlagen. Dies ergebe eine Forderung von insgesamt Fr. 119'044.20; nicht gerügt sei der Verzugszins. Demzufolge habe der Beschwerdeführer der Beschwerdegegnerin Fr. 119'044.20 zuzüglich 5 % Zins seit 10. Januar 2011 zu bezahlen. In diesem Umfang schützte es die Klage und hob den Rechtsvorschlag in der Betreibung Nr. yyy des Betreibungsamtes Albula auf. Sodann verteilte es die erstinstanzlichen Kosten- und Entschädigungsfolgen neu. C. Dagegen erhob der Beschwerdeführer Beschwerde in Zivilsachen und beantragt, die Klage sei abzuweisen. Eventualiter sei der angefochtene Entscheid aufzuheben und an die Vorinstanz zur vollständigen Beweisabnahme zurückzuweisen. Die Beschwerdegegnerin und die Vorinstanz beantragten die Abweisung der Beschwerde. Mit Präsidialverfügung vom 16. August 2016 wurde das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen.