Sachverhalt:
A.
Die B._ AG (Klägerin, Beschwerdegegnerin) verkaufte A._ (Beklagter, Beschwerdeführer) mit öffentlich beurkundetem Kaufvertrag vom 14. August 2009 für Fr. 740'000.-- die Liegenschaft Nr. xxx, Grundbuch U._, mit Wohnhaus, das sich damals im Bau befand. Mit dem Kaufvertrag wurde auch die Mehrkostenabrechnung öffentlich beurkundet, die gegenüber der Standardausführung "voraussichtliche Mehrkosten" von Fr. 86'965.52 aufwies. An den Gesamtpreis von Fr. 826'965.52 bezahlte der Beklagte bislang Fr. 776'965.--, verweigerte aber die Leistung der Schlusszahlung.
B.
Mit Klageschrift vom 3. Februar 2014 erhob die Klägerin beim Bezirksgericht Arbon Klage und beantragte, der Beklagte sei zu verpflichten, ihr Fr. 122'906.90 nebst 3.95 % Zins seit 12. Dezember 2011 zu bezahlen. Mit Urteil vom 9. Juli 2015 hiess das Bezirksgericht die Klage teilweise gut und verpflichtete den Beklagten, der Klägerin Fr. 45'092.55 nebst Zins zu 3.95 % seit 20. August 2013 zu bezahlen. Im Mehrbetrag wies es die Klage ab.
Die vom Beklagten dagegen erhobene Berufung wies das Obergericht des Kantons Thurgau mit Entscheid vom 17. Dezember 2015 ab.
C.
Der Beschwerdeführer erhob gegen den Entscheid des Obergerichts subsidiäre Verfassungsbeschwerde und beantragt, der Entscheid des Obergerichts sei vollumfänglich aufzuheben und die Klage sei abzuweisen, soweit sie den Betrag von Fr. 15'825.40 übersteige. Eventualiter sei die Sache an die Vorinstanz bzw. an das erstinstanzliche Gericht zur Beweisabnahme und neuer Entscheidung zurückzuweisen.
Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei, und die Bestätigung des Entscheids des Obergerichts. Die Vorinstanz beantragt die Abweisung der Beschwerde.
Mit Präsidialverfügung vom 3. Juni 2016 wurde das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (vgl. Erwägung 2) ist daher auf die subsidiäre Verfassungsbeschwerde einzutreten.
2.
2.1. Mit subsidiärer Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Die beschwerdeführende Partei muss angeben, welches verfassungsmässige Recht verletzt wurde, und substanziiert darlegen, worin die Verletzung besteht (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 1.4; <ref-ruling> E. 1.6). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von verfassungsmässigen Rechten liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als verfassungswidrig erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2).
Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich (<ref-ruling> E. 3 S. 352; <ref-ruling> E. 5.5). Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1; <ref-ruling> E. 3.2.5 S. 339).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>). Wird Letzteres geltend gemacht, ist neben der Erheblichkeit der gerügten Tatsachenfeststellung für den Ausgang des Verfahrens klar und detailliert darzutun, inwiefern diese verfassungswidrig, insbesondere willkürlich, sein soll (<ref-ruling> E. 2.2 S. 334; <ref-ruling> E. 7.1 S. 398).
Wird eine verfassungswidrige Nichtberücksichtigung von behaupteten, im angefochtenen Entscheid aber nicht festgestellten Tatsachen geltend gemacht, ist mit Aktenhinweisen darzulegen, dass diese rechtsrelevanten Tatsachen bereits bei der Vorinstanz prozessrechtskonform eingebracht wurden, indessen von jener unter Verletzung eines verfassungsmässigen Rechts unberücksichtigt gelassen worden seien. Ansonsten gelten sie als neu und daher unzulässig (Art. 99 Abs. 1 i.V.m. <ref-law>; Urteil 4D_97/2014 vom 16. April 2015 E. 2.2; vgl. <ref-ruling> E. 2 S. 90).
2.3. Von vornherein kann auf die Beschwerde nicht eingetreten werden, soweit der Beschwerdeführer darin das Urteil der Erstinstanz kritisiert, denn die subsidiäre Verfassungsbeschwerde ist nur gegen Entscheide letzter kantonaler Instanzen zulässig (<ref-law>).
Sodann erfüllt der Beschwerdeführer die Voraussetzungen an eine Willkürrüge von vornherein nicht, wenn er der Vorinstanz pauschal Willkür bezüglich der "übrigen Verrechnungspositionen" vorwirft, ohne hinreichend konkret aufzuzeigen, bei welcher seiner 16 verschiedenen Verrechnungspositionen die Beurteilung durch die Vorinstanz willkürlich wäre. Darauf ist nicht einzutreten.
3.
Die Vorinstanz erwog, die Beschwerdegegnerin habe in der Klageschrift Fr. 122'906.90 nebst Zins vom Beschwerdeführer verlangt, entsprechend dem restlichen "Kaufpreis" und den Mehrkosten abzüglich der vom Beschwerdeführer geleisteten Teilzahlungen. An der erstinstanzlichen Hauptverhandlung habe die Beschwerdegegnerin den Klagebetrag auf Fr. 79'433.65 nebst 3.95 % Zins seit 12. Dezember 2011 reduziert. Die Erstinstanz habe erwogen, die Schlusszahlung von Fr. 50'000.-- sei seit dem 7. Dezember 2012 zur Zahlung fällig. Somit sei nicht nur diese Forderung, sondern auch ein Verzugszins in der unbestrittenen Höhe von 3.95 % seit der Klageeinleitung am 20. August 2013 geschuldet. Von den an der Hauptverhandlung von der Beschwerdegegnerin noch geltend gemachten Mehrkosten von insgesamt Fr. 32'270.-- habe die Erstinstanz Kosten von Fr. 1'206.-- im Zusammenhang mit der Küche als ausgewiesen erachtet. Die vom Beschwerdeführer geltend gemachten Verrechnungsforderungen wegen mangelhafter Vertragserfüllung und Mängeln (Minderwerte, Ersatzvornahmekosten und Mangelfolgeschäden) habe die Erstinstanz im Betrag von insgesamt Fr. 3'277.10 geschützt. Die Verrechnungsforderung von Fr. 2'836.35 des Beschwerdeführers für die Sanierung der Fassade habe die Beschwerdegegnerin anerkannt. Die übrigen unter diesem Titel geltend gemachten Teilforderungen habe die Erstinstanz wegen verspäteter Geltendmachung bzw. infolge unzureichender Substantiierung abgewiesen. Insgesamt sei die Erstinstanz zum Schluss gekommen, dass zu Gunsten der Beschwerdegegnerin eine Forderung von Fr. 45'092.55 nebst 3.95 % Zins seit 20. August 2013 resultiere.
Im Berufungsverfahren, so die Vorinstanz weiter, seien die der Beschwerdegegnerin zustehende Schlusszahlung von Fr. 50'000.-- und Mehrkosten von Fr. 1'206.-- nicht mehr strittig. Uneinig seien sich die Parteien hingegen bezüglich der Verzugszinspflicht und betreffend die über den von der Erstinstanz geschützten Teilbetrag von Fr. 6'113.55 hinausgehenden Verrechnungsforderungen von Fr. 29'267.25 des Beschwerdeführers. Bezüglich der Verzugszinspflicht für die Schlusszahlung von Fr. 50'000.-- kam die Vorinstanz zum Schluss, dass die Erstinstanz den Beschwerdeführer zu Recht verpflichtet habe, der Beschwerdegegnerin ab dem 20. August 2013 einen Verzugszins von 3.95 % zu bezahlen. Betreffend die Verrechnungsforderungen des Beschwerdeführers zufolge von Mängeln und nicht erfolgter "Werkausführungen" (Kosten für Ersatzvornahmen) erwog die Vorinstanz, dass die Erstinstanz die vom Beschwerdeführer geltend gemachten Kosten für die Aussen- und Innengeländer von Fr. 17'844.40 und Fr. 6'851.90, für die Fassadensanierung von Fr. 490.55, für vorprozessuale Anwaltskosten von Fr. 2'390.40 und für Malerarbeiten von Fr. 1'950.-- zu Recht mangels ausreichender Substantiierung abgewiesen habe.
4.
Vor Bundesgericht ist einzig strittig, ob die Vorinstanz die Verrechnungsforderungen des Beschwerdeführers zu Recht mangels ungenügender Substantiierung abgewiesen hat.
4.1.
4.1.1. Der Beschwerdeführer rügt, die Vorinstanz habe in Verletzung des Willkürverbots nach <ref-law> den Sachverhalt unvollständig festgestellt. Während des Augenscheins und in der Instruktionsverhandlung habe die Beschwerdegegnerin eingestanden, dass die Geländer zwar vertraglich geschuldet gewesen seien, die Beschwerdegegnerin aber diese Schuld nie erfüllt habe. Die Beschwerdegegnerin habe daher anerkannt, den Vertrag nicht vollständig erfüllt und die Geländer nicht geliefert zu haben. Es sei willkürlich, wenn beide Vorinstanzen diese Tatsachen übergehen und der Beschwerdegegnerin die ganze Schlusszahlung von Fr. 50'000.--, und damit die volle Entschädigung wie bei einer vertragskonformen Erfüllung, zusprechen würden.
4.1.2. Inwiefern die verlangte Sachverhaltsergänzung für den Ausgang des Verfahrens entscheidwesentlich wäre (vgl. Erwägung 2.2), vermag der Beschwerdeführer nicht darzulegen: Die Vorinstanz erwog, der Rechtsvertreter des Beschwerdeführers habe im Schreiben vom 1. November 2010 an die Beschwerdegegnerin ausgeführt, er sei nicht mehr gewillt, sich von der Beschwerdegegnerin hinhalten zu lassen. Auf weitere Erfüllungshandlungen durch die Beschwerdegegnerin werde hiermit verzichtet. Die ausstehenden Arbeiten werde der Beschwerdeführer durch Dritte ausführen lassen und die Beschwerdegegnerin für sämtliche Mehrkosten und sonstige Aufwendungen, die sich aus deren Verhalten ergäben, ersatzpflichtig machen (positives Vertragsinteresse).
Der Beschwerdeführer verzichtete damit nach den Feststellungen der Vorinstanz, die er vor Bundesgericht nicht in Frage stellt, auf die vollständige Vertragserfüllung durch die Beschwerdegegnerin und erklärte die ausstehenden Arbeiten durch Dritte ausführen zu lassen. In diesem Fall bleibt der Beschwerdeführer als Besteller verpflichtet, den Werkpreis zu zahlen, kann aber von der Beschwerdegegnerin als Unternehmerin die Kosten für die Ersatzvornahme fordern (vgl. <ref-ruling> E. 7a.aa S. 233). Diese Kosten fordert der Beschwerdeführer durch seine zur Verrechnung gestellten Ansprüche. Inwiefern es nach dem Gesagten für den Ausgang des Verfahrens entscheidwesentlich wäre, ob die Beschwerdegegnerin anerkannt habe, dass sie den Vertrag nicht vollständig erfüllt oder die Geländer nicht geliefert habe, legt der Beschwerdeführer mit seinen Ausführungen nicht hinreichend dar. Darauf ist nicht einzutreten. Ebensowenig ist er damit zu hören, soweit er sich auch im Weiteren darauf beruft.
4.2.
4.2.1. Im gleichen Zusammenhang rügt der Beschwerdeführer, die Vorinstanz habe sich mit seinen Vorbringen bezüglich der oben genannten Anerkennung der Nichtlieferung der Geländer durch die Beschwerdegegnerin, nicht auseinandergesetzt. Die Vorinstanz habe damit die Begründungspflicht nach <ref-law> und "das Recht auf Beweiswürdigung" verletzt.
4.2.2. Nach konstanter Rechtsprechung hat das Gericht seinen Entscheid zwar zu begründen, doch ist nicht erforderlich, dass es sich mit allen Parteistandpunkten einlässlich auseinandersetzt. Vielmehr kann es sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann (<ref-ruling> E. 3.2.4 mit Hinweisen).
4.2.3. Entgegen der Auffassung des Beschwerdeführers setzte sich die Vorinstanz sehr wohl mit seinen Ausführungen betreffend die fehlenden bzw. nicht gelieferten Geländer auseinander. Sie erwog aber, dass es in diesem Verfahren nicht in erster Linie um die Behauptungen der nicht gelieferten Geländer oder der Rechtmässigkeit der Ersatzgeländer gehe, sondern um die ungenügende Substantiierung des Ersatzanspruches durch den Beschwerdeführer (dazu nachfolgend 4.3). Die Vorinstanz nannte demnach ihre wesentlichen Überlegungen und erfüllte damit die aus dem verfassungsmässigen Anspruch auf rechtliches Gehör folgende Verpflichtung, ihren Entscheid zu begründen. Eine Verletzung des rechtlichen Gehörs ist nicht dargetan.
Inwiefern die Vorinstanz hier die Beweise willkürlich gewürdigt hätte, legt der Beschwerdeführer nicht hinreichend dar, sodass darauf nicht einzutreten ist.
4.3.
4.3.1. Der Beschwerdeführer bringt weiter vor, er habe für die Kosten der Geländer in seinen Rechtsschriften auf act. 17 seiner erstinstanzlichen Beilagen mit den zwei Rechnungen der C._ AG verwiesen und damit die Kosten ausreichend substantiiert. Die Vorinstanz übersehe, dass er in act. 17 die Verrechnungsforderungen einzeln aufgeführt und auch den Gesamtbetrag genannt habe. Die Vorinstanz handle überspitzt formalistisch und überdehne die zivilprozessualen Substantiierungspflichten in unhaltbarer Weise, als sie diese Kosten mangels ausreichender Substantiierung abwies.
4.3.2. Die Vorinstanz erwog diesbezüglich, dass der Besteller für den Bestand und die Höhe des Ersatzanspruchs bei der Mängelbeseitigung auf Kosten des Unternehmers die Beweislast trage. Als notwendige Grundlage der rechtlichen Beurteilung hätte der Beschwerdeführer [als Besteller] als erstes die Höhe der entstandenen Kosten substantiiert und spezifiziert darlegen müssen. Dazu finde sich in der Klageantwort jedoch lediglich der Hinweis, die Herstellung und Montage der fehlenden Geländer hätte rund Fr. 24'000.-- gekostet. Gleichzeitig habe der Beschwerdeführer pauschal auf die "Zusammenstellung Kostenersatzvornahme und Mangelfolgekosten (inkl. Belege) " in act. 17 seiner Beilagen verwiesen. Auch die Duplik enthalte lediglich einen Verweis auf act. 17 mit zwei Rechnungen der "C._". Damit fehle es bereits an einer ausreichenden Substantiierung und Spezifizierung der genauen Kostenhöhe. Überdies hätte der Beschwerdeführer als notwendige Grundlage der rechtlichen Beurteilung hinsichtlich der Kostentragungspflicht und der Angemessenheit der geltend gemachten Kosten - unter Bezugnahme auf die spezifischen und substantiierten Kosten - darlegen müssen, welche Arbeiten und welche Werklieferungen und -arbeiten (auch im Hinblick auf die verschiedenen Geländervarianten) im Zusammenhang mit der entsprechenden Ersatzvornahme erfolgten. Zudem hätte er vergleichsweise auf die im Vertrag vorgesehenen Geländerausführungen Bezug nehmen müssen. Diesen Substantiierungspflichten sei der Beschwerdeführer im Behauptungsstadium vor der Erstinstanz nicht nachgekommen. Zu Recht sei die Erstinstanz daher von einer mangelhaften Substantiierung dieses Anspruchs ausgegangen.
4.3.3. Die Vorinstanz beurteilte die Substantiierung durch den Beschwerdeführer bezüglich der genannten Kosten der Geländer folglich aus mehreren Gründen als nicht ausreichend. Beruht der angefochtene Entscheid auf mehreren selbständigen Begründungen, die je für sich den Ausgang des Rechtsstreits besiegeln, so hat der Beschwerdeführer darzulegen, dass jede von ihnen Recht verletzt; andernfalls kann auf die Beschwerde nicht eingetreten werden (<ref-ruling> E. 3.4 S. 735; Urteil 4A_264/2015 vom 10. August 2015 E. 4.2).
Der Beschwerdeführer wendet sich mit seinen Ausführungen, wonach er die Höhe der Kosten durch den Verweis in seinen Rechtsschriften auf seine Beilagen genügend substantiiert habe, einzig gegen die Begründung der Vorinstanz, wonach keine genügende Substantiierung vorliege, da es an einer ausreichenden Substantiierung und Spezifizierung der genauen Kostenhöhe fehle. Die weiteren Begründungen der Vorinstanz, wonach die Substantiierung abgesehen von der genauen Kostenhöhe auch aus weiteren Gründen ungenügend sei, namentlich weil der Beschwerdeführer hätte darlegen müssen, welche Arbeiten und welche Werklieferungen und -arbeiten im Zusammenhang mit den entsprechenden Ersatzvornahmen erfolgt seien, bzw. er auf die im Vertrag vorgesehenen Geländerausführungen hätte Bezug nehmen müssen, lässt der Beschwerdeführer unangefochten. Damit zeigt er nicht für alle der genannten selbstständigen Begründungen der Vorinstanz bezüglich der ungenügenden Substantiierung der Kosten der Geländer auf, inwiefern sie Recht verletzen würden, sodass auf dieses Vorbringen nicht einzutreten ist.
Dementsprechend braucht nicht beurteilt zu werden, ob der blosse Verweis auf die genannten Beilagen den Anforderungen an die Substantiierung genügt hätte (vgl. dazu Urteil 4A_552/2015 vom 25. Mai 2016 E. 3.4 mit Hinweisen).
4.4. Der Beschwerdeführer rügt sodann, die Beschwerdegegnerin habe erstmals anlässlich der Instruktionsverhandlung wesentlich tiefere Kosten für die Innen- und Aussengeländer behauptet bzw. sie habe erstmals dort behauptet, die für die Ersatzbeschaffung geltend gemachten Kosten seien im Verhältnis zu den von ihr kalkulierten Kosten viel zu hoch. Es könne nicht angehen, unter dem Titel der Substantiierungspflicht von einer Partei zu verlangen, zu allen möglichen und theoretisch denkbaren Einwänden quasi präventiv Stellung zu nehmen, obwohl die Gegenseite nicht einmal ansatzweise eine entsprechende Einwendung erhoben habe. Eine solche Auffassung führe zu einer Rechtsverweigerung, weil so einem Beweisbelasteten nachträglich letztlich jederzeit und immer eine ungenügende Substantiierung vorgeworfen werden könne.
Die Vorinstanz erwog bezüglich der genannten Kosten der Geländer, dass "nicht eine ungenügend substantiierte Bestreitung" der Beschwerdegegnerin vorliege. Einerseits seien ungenügend substantiierte Behauptungen nicht zu bestreiten. Andererseits habe die Beschwerdegegnerin in der Replik die Verrechnungsansprüche bestritten. Ferner lege sie [in der Replik] dar, es wäre eine einfache und deutlich kostengünstigere Ausführung des Geländers als Absturzsicherung hinreichend gewesen. Dies sei einer Bestreitung der Angemessenheit der Kosten der Ersatzvornahme gleichzusetzen.
Gegen diese vorinstanzliche Erwägungen vermag der Beschwerdeführer nicht aufzukommen, indem er, ohne hinreichende Auseinandersetzung mit diesen, lediglich behauptet, die Beschwerdegegnerin habe erst in der Instruktionsverhandlung die Kosten der Geländer substantiiert bestritten. Darauf ist nicht weiter einzugehen.
4.5.
4.5.1. Der Beschwerdeführer rügt weiter, die Erstinstanz habe am 18. November 2014 den Parteien das vorläufige Beweisschema mitgeteilt. Das Gericht habe den Parteien damit zu verstehen gegeben, dass es die geltend gemachten Forderungen nachvollziehen könne und damit die Substantiierung ausreichend sei. Das Gericht habe eine Vertrauensgrundlage dafür geschaffen, dass es dem Beschwerdeführer zugestehe, über seine Verrechnungsforderungen in der Höhe von Fr. 35'631.35 Beweis erbringen zu können. Diese Vertrauensgrundlage sei zusätzlich dadurch gestärkt und bestätigt worden, dass das Gericht anlässlich des Augenscheins und der Parteibefragung das Beweisthema der fehlenden Geländer und deren Ersatzbeschaffung nochmals ausdrücklich aufgegriffen und die Parteien dazu formell befragt habe. Wenn die Vorinstanz dann aber einzelne Verrechnungsforderungen als ungenügend substantiiert betrachte, werde der Anspruch auf ein faires Verfahren und ein Verhalten nach Treu und Glauben durch eine Gerichtsbehörde verletzt und die bestehende Vertrauensgrundlage "krass" missachtet. Wenn die Vorinstanz sodann davon ausgehe, dass es sich beim genannten Schreiben um ein vorläufiges Beweisschema handle, lege sie dieses willkürlich aus.
4.5.2. Der in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person u.a. Anspruch auf Schutz des berechtigten Vertrauens in eine selbst unrichtige Auskunft oder Zusicherung der Behörde. Vorausgesetzt ist, dass die Person, die sich auf Vertrauensschutz beruft, berechtigterweise auf diese Grundlage vertrauen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann. Zudem darf seit der Auskunftserteilung die gesetzliche Ordnung keine Änderung erfahren haben. Schliesslich scheitert die Berufung auf Treu und Glauben, wenn ihr überwiegende öffentliche Interessen entgegenstehen (<ref-ruling> E. 2.5.1; <ref-ruling> E. 6.1; Urteil 4A_226/2014 vom 6. August 2014 E. 4.2).
4.5.3. Die Vorinstanz erwog, dass die Erstinstanz am 20. November 2014 eine Instruktionsverhandlung durchgeführt habe. Im Vorfeld dazu habe die erstinstanzliche Verfahrensleitung den Parteien am 18. November 2014 mitgeteilt, nach einem Augenschein vor Ort würden die Parteien befragt werden. Grundlage hierfür sei das Beweisschema, das "vorläufigen Charakter" habe. Die Erstinstanz habe in ihrer verfahrensleitenden Mitteilung vom 18. November 2014 ausdrücklich festgehalten, es handle sich um ein vorläufiges Beweisschema, das gegebenenfalls angepasst werden könne. Zudem habe die Erstinstanz in ihrer Mitteilung darauf hingewiesen, sie habe "bezüglich ausreichender Substantiierung beziehungsweise Bestreitung der Parteivorbringen zu Gunsten der Parteien einen grosszügigen Massstab angelegt". Dies bedeute nichts anderes, als dass sich die Erstinstanz diesbezüglich die nochmalige nähere Überprüfung vorbehalten habe. Aus dem Umstand, dass die Vorinstanz den Parteien ein vorläufiges Beweisschema als Grundlage der Instruktionsverhandlung zugestellt habe, könne nicht hergeleitet werden, die Erstinstanz sei für den weiteren Verfahrensverlauf betreffend allen in den "Beweissätzen" enthaltenen Punkten vollumfänglich und verbindlich von einer ausreichenden Substantiierung ausgegangen.
4.5.4. Zunächst ist festzuhalten, dass im Schreiben vom 18. November 2014 des verfahrensleitenden Richters der Erstinstanz den Parteien nicht explizit zugesichert wurde, dass die Kosten der Ersatzvornahme und Mangelfolgeschäden, um welche es vor Bundesgericht einzig geht, genügend substantiiert seien. Vielmehr wurde den Parteien, wie es im Schreiben ausdrücklich heisst, lediglich "im Hinblick auf die Instruktionsverhandlung" ein "Beweisschema" zugestellt. Im Schreiben wurde sodann betont, dass das Beweisschema "vorläufigen Charakter" habe und vom "Gericht gegebenenfalls angepasst" werden könne. Im Weiteren wurden die Parteien ausdrücklich darauf hingewiesen, dass für das vorläufige Beweisschema "bezüglich ausreichender Substantiierung bzw. Bestreitung der Parteivorbringen zugunsten der Parteien ein grosszügiger Massstab angelegt" worden sei. Gestützt auf den klaren Wortlaut des Schreibens hat die Vorinstanz daher zutreffend festgestellt, dass keine verbindliche Zusicherung vorliegt, dass die entsprechenden Kosten genügend substantiiert seien. Für einen Vertrauensschutz fehlt es daher bereits an einer Vertrauensgrundlage. Eine Verletzung von <ref-law> ist damit nicht dargetan. Dass diese zutreffende Auslegung des Schreibens durch die Vorinstanz willkürlich sein soll, vermag der Beschwerdeführer nicht darzulegen.
Inwiefern schliesslich der Anspruch auf ein faires Verfahren im Sinne von <ref-law> bzw. Art. 6 Ziff. 1 EMRK verletzt worden wäre, legt der Beschwerdeführer nicht hinreichend dar.
4.6.
4.6.1. Der Beschwerdeführer rügt alsdann bezüglich der vorprozessualen Anwaltskosten, die er als Mangelfolgekosten geltend mache, die Vorinstanz handle überspitzt formalistisch, wenn sie verlange, dass jede einzelne Tätigkeit, welche in einem detaillierten Tätigkeitsnachweis ausgewiesen werde, in der Klageschrift/-antwort selbst enthalten und auch deren Begründetheit im Einzelnen dargelegt werden müsse. Dies selbst dann, wenn die Gegenpartei nur mit einer pauschalen Behauptung alles bestreite und insbesondere keinerlei Einzelpositionen bestreite. Sodann setze sich die Vorinstanz mit seinen Darlegungen zu den vorprozessualen Anwaltskosten - wenn überhaupt - nur oberflächlich auseinander, wodurch die Begründungspflicht nach <ref-law> verletzt sei.
4.6.2. Die Vorinstanz erwog diesbezüglich, dass der Beschwerdeführer für diese Verrechnungsforderung in der Klageschrift [recte: Klageantwortschrift] wiederum lediglich auf act. 17 seiner Beilagen verwiesen habe. Darin fänden sich bezüglich der Zusammenstellungen der Vergütungen vom 11. Januar 2011 bis 31. Oktober 2012 verschiedene Überweisungsaufträge an den Rechtsvertreter des Beschwerdeführers mit entsprechenden Beträgen. Dies stelle keine ausreichende Substantiierung dar. Daher sei auch keine substantiierte Bestreitung der Beschwerdegegnerin notwendig gewesen. Ihr Hinweis in der Replik, es liege keine ausreichende Substantiierung vor, treffe zu. In der Duplik habe der Beschwerdeführer lediglich geltend gemacht, alle Anwaltskosten stünden in direktem Zusammenhang mit der vertragswidrigen Erfüllung des "Kaufvertrags" seitens der Beschwerdegegnerin; zudem habe der Beschwerdeführer sechs Rechnungen mit Tätigkeitsnachweisen eingereicht. Auch diese pauschalen Behauptungen und der pauschale Verweis auf Tätigkeitsnachweise genüge einer ausreichenden Substantiierung dieser Teilforderung als Mangelfolgeschaden nicht.
Als notwendige Grundlage für eine rechtliche Beurteilung, so die Vorinstanz weiter, hätte der Beschwerdeführer zumindest darlegen müssen, aus welchen Gründen der Beizug eines Rechtsvertreters notwendig gewesen sei. Dabei hätte er auch auf die entsprechenden Vorkommnisse und die daraus im Einzelnen notwendig gewordenen anwaltlichen Schritte Bezug nehmen müssen. Schliesslich hätte er darlegen müssen, welche angemessenen Aufwendungen daraus entstanden seien. Der pauschale Hinweis auf Tätigkeitsnachweise könne diesem Substantiierungserfordernis nicht genügen. Es sei nicht Aufgabe des Gerichts, die Tätigkeitsnachweise im Einzelnen durchzugehen und diese aufgrund allenfalls in anderem Zusammenhang in den Rechtsschriften vorgebrachten Behauptungen den im jeweiligen Zusammenhang erforderlichen anwaltlichen Interventionen zuzuordnen. Im Rahmen einer ausreichenden Substantiierung sei gerade dies in den Rechtsschriften mit den jeweiligen Beweisanträgen nachvollziehbar darzulegen. Entgegen der Behauptung des Beschwerdeführers reiche es jedenfalls nicht, einfach zu behaupten, alle Arbeiten stünden ausschliesslich und in direktem Zusammenhang mit dem vertragswidrigen Verhalten der Beschwerdegegnerin oder sie stünden im unmittelbaren Zusammenhang mit der Streitigkeit mit der Beschwerdegegnerin. Da nur der notwendige und gerechtfertigte anwaltliche Aufwand als Mangelfolgeschaden zu ersetzen sei, seien die Kosten der einzelnen anwaltlichen Vorkehrungen sowie deren Notwendigkeit im Einzelnen darzulegen.
4.6.3. Die dagegen vorgebrachte Rüge geht fehl: Die Partei, die den Ersatz vorprozessualer Anwaltskosten einklagt, hat substanziiert darzutun, das heisst die Umstände zu nennen, die dafür sprechen, dass die geltend gemachten Aufwendungen als Bestandteil des Schadens zu betrachten sind, mithin gerechtfertigt, notwendig und angemessen waren, der Durchsetzung der Schadenersatzforderung dienen und nicht durch die Parteientschädigung gedeckt sind. Zur Erfüllung ihrer Behauptungs- und Substanziierungslast genügt der blosse Verweis auf die Honorarnote nicht. Auch wenn es nicht unbedingt nötig ist, die Honorarnote im Volltext in die Rechtsschrift aufzunehmen, so sind doch Konkretisierungen und Erläuterungen derselben unerlässlich, damit die geltend gemachten Positionen von der Gegenpartei und dann vom Gericht im Hinblick auf die massgebenden Kriterien für die Ersatzfähigkeit vorprozessualer Anwaltskosten geprüft und gegebenenfalls substanziiert bestritten werden können (Urteil 4A_264/2015 vom 10. August 2015 E. 4.2.2 mit Hinweisen).
Nach den unbestrittenen Sachverhaltsfeststellungen der Vorinstanz stellte der Beschwerdeführer in seinen Rechtsschriften keinerlei diesbezügliche Tatsachenbehauptungen auf. Vielmehr verwies er in der Klageantwort lediglich auf eine Beilage. In der Duplik machte er sodann nur geltend, dass alle Anwaltskosten in direktem Zusammenhang mit der vertragswidrigen Erfüllung des Vertrags durch die Beschwerdegegnerin bzw. mit der Streitigkeit mit dieser stünden und verwies auf sechs Rechnungen mit Tätigkeitsnachweisen in den Beilagen. Diese pauschalen Behauptungen in der Duplik genügen nicht. Bei dieser Sachlage und im Lichte der oben genannten Rechtsprechung ist es jedenfalls nicht überspitzt formalistisch, wenn die Vorinstanz mit der Erstinstanz keine genügende Substantiierung der vorprozessualen Anwaltskosten annahm.
Da keine genügende Substantiierung der genannten Kosten durch den Beschwerdeführer vorliegt, braucht - wie die Vorinstanz zu Recht erwog - nicht beurteilt zu werden, ob die Beschwerdegegnerin diese Kosten hinreichend bestritten hat.
Inwiefern die oben genannten ausführlichen Erwägungen der Vorinstanz sodann die Vorgaben der Begründungspflicht nach <ref-law> nicht erfüllen würden (vgl. oben Erwägung 4.2.2), ist nicht dargetan.
4.7. Der Beschwerdeführer rügt im Weiteren bezüglich der Kosten für die Malerarbeiten, dass nach <ref-law> offenkundige und gerichtsnotorische Tatsachen nicht beweisbedürftig seien. Hinsichtlich seiner Verrechnungsforderung für nachträgliche Malerarbeiten in der Höhe von Fr. 1'960.-- [recte: Fr. 1'950.--] sei allgemein bekannt und "wohl auch unumstrittene Erfahrungstatsache", dass wenn ein provisorisch installiertes Geländer entfernt und das "Definitivum" montiert werde, abschliessende Malerarbeiten vorzunehmen seien. Welche Arbeiten genau vorgenommen worden seien, ergebe sich aus der Rechnung des Handwerkers, welches als Beweismittel (act. 17) eingereicht worden sei. "Diese nicht ausgeführten, aber für eine vertragskonforme Erfüllung zwingend notwendigen Arbeiten" als unsubstantiiert abzutun, verletze <ref-law> in willkürlicher Weise.
Inwiefern die Vorinstanz <ref-law> willkürlich angewandt hätte, als sie davon ausging, dass der Beschwerdeführer die Kosten für die Malerarbeiten zu substantiieren habe und es sich hierbei nicht um eine offenkundige oder gerichtsnotorische Tatsache handle, ist nicht hinreichend dargelegt und auch nicht ersichtlich.
4.8. Schliesslich rügt der Beschwerdeführer, die Vorinstanz übersehe, dass seine Anträge auf Zeugenbefragungen zur Rechnung der D._ GmbH sowie zur Rechnung für die Malerarbeiten von der Erstinstanz einfach übergangen worden seien. Indem die Vorinstanz keine Beweisabnahmen zugelassen habe, verletze sie seinen Anspruch auf rechtliches Gehör.
Die Vorinstanz hat entgegen der Auffassung des Beschwerdeführers diese Beweisanträge nicht übersehen. Vielmehr hat sie diesbezüglich erwogen, dass die vom Beschwerdeführer gestellten Beweisanträge die notwendige, aber fehlende Substantiierung nicht ersetzen könnten. Inwiefern die Vorinstanz das rechtliche Gehör des Beschwerdeführers verletzt hätte, indem sie für nicht substantiierte Behauptungen keinen Beweis abnahm, vermag der Beschwerdeführer nicht darzulegen.
5.
Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit auf sie eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 28. Juli 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger