Sachverhalt: A. A._ (Darlehensnehmer, Beschwerdeführer) schloss als beklagte Partei am 27. September 2011 vor dem Vermittleramt Altendorf eine Vergleichsvereinbarung mit der B._ AG (Darlehensgeberin, Beschwerdegegnerin) ab und anerkannte, dieser Fr. 435'000.-- zu schulden. Gemäss der geschlossenen Vereinbarung wurde dieser Schuldbetrag ab dem 27. September 2011 in ein verzinsliches Darlehen umgewandelt. Die Parteien erklärten sich mit Abschluss und Vollzug des geschlossenen Vergleichs bezüglich der Gegenstand des Verfahrens bildenden Angelegenheit als per Saldo aller gegenseitigen Ansprüche auseinandergesetzt. Am 13. März 2012 kündigte die Darlehensgeberin das Darlehen mit einer Frist von sechs Wochen. Als die Bezahlung ausblieb, leitete sie Betreibung ein, worauf der Darlehensnehmer Rechtsvorschlag erhob. Die Darlehensgeberin ersuchte um provisorische Rechtsöffnung, worauf der Einzelrichter am Bezirksgericht March diese für Fr. 435'000.-- nebst Zins, Kosten für Zahlungsbefehl (Fr. 195.--) und Rechtsöffnung (450.--) sowie Parteientschädigung (Fr. 1'000.--) erteilte. B. Mit Aberkennungsklage vom 25. Januar 2013 beantragte der Darlehensnehmer dem Bezirksgericht March im Wesentlichen, es sei die Forderung der Darlehensgeberin im Betrag von Fr. 187'057.40 nebst Zins abzuerkennen, sowie Zahlungsbefehls- und Rechtsöffnungskosten im Betrag von " CHF 255. 00 (= 43 %) ". Mit Urteil vom 28. April 2015 wies das Bezirksgericht die Aberkennungsklage ab und stellte fest, die erteilte provisorische Rechtsöffnung sei damit definitiv. Die gegen dieses Urteil erhobene Berufung wies das Kantonsgericht Schwyz am 29. Dezember 2015 ab, soweit es darauf eintrat. C. Mit Beschwerde in Zivilsachen beantragt der Darlehensnehmer dem Bundesgericht im Wesentlichen, es sei die Forderung der Darlehensgeberin im Betrag von Fr. 64'000.-- nebst Zins abzuerkennen, sowie Zahlungsbefehls- und Rechtsöffnungskosten im Betrag von " CHF 90.00 (= 15%) ". Seinem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht mit Präsidialverfügung vom 22. März 2016 statt. Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Kantonsgericht auf Vernehmlassung verzichtet.