Sachverhalt:
A.
A._ (Darlehensnehmer, Beschwerdeführer) schloss als beklagte Partei am 27. September 2011 vor dem Vermittleramt Altendorf eine Vergleichsvereinbarung mit der B._ AG (Darlehensgeberin, Beschwerdegegnerin) ab und anerkannte, dieser Fr. 435'000.-- zu schulden. Gemäss der geschlossenen Vereinbarung wurde dieser Schuldbetrag ab dem 27. September 2011 in ein verzinsliches Darlehen umgewandelt. Die Parteien erklärten sich mit Abschluss und Vollzug des geschlossenen Vergleichs bezüglich der Gegenstand des Verfahrens bildenden Angelegenheit als per Saldo aller gegenseitigen Ansprüche auseinandergesetzt.
Am 13. März 2012 kündigte die Darlehensgeberin das Darlehen mit einer Frist von sechs Wochen. Als die Bezahlung ausblieb, leitete sie Betreibung ein, worauf der Darlehensnehmer Rechtsvorschlag erhob. Die Darlehensgeberin ersuchte um provisorische Rechtsöffnung, worauf der Einzelrichter am Bezirksgericht March diese für Fr. 435'000.-- nebst Zins, Kosten für Zahlungsbefehl (Fr. 195.--) und Rechtsöffnung (450.--) sowie Parteientschädigung (Fr. 1'000.--) erteilte.
B.
Mit Aberkennungsklage vom 25. Januar 2013 beantragte der Darlehensnehmer dem Bezirksgericht March im Wesentlichen, es sei die Forderung der Darlehensgeberin im Betrag von Fr. 187'057.40 nebst Zins abzuerkennen, sowie Zahlungsbefehls- und Rechtsöffnungskosten im Betrag von " CHF 255. 00 (= 43 %) ". Mit Urteil vom 28. April 2015 wies das Bezirksgericht die Aberkennungsklage ab und stellte fest, die erteilte provisorische Rechtsöffnung sei damit definitiv. Die gegen dieses Urteil erhobene Berufung wies das Kantonsgericht Schwyz am 29. Dezember 2015 ab, soweit es darauf eintrat.
C.
Mit Beschwerde in Zivilsachen beantragt der Darlehensnehmer dem Bundesgericht im Wesentlichen, es sei die Forderung der Darlehensgeberin im Betrag von Fr. 64'000.-- nebst Zins abzuerkennen, sowie Zahlungsbefehls- und Rechtsöffnungskosten im Betrag von " CHF 90.00 (= 15%) ". Seinem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht mit Präsidialverfügung vom 22. März 2016 statt. Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Kantonsgericht auf Vernehmlassung verzichtet.

Erwägungen:
1.
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Mit Blick auf die allgemeinen Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG) prüft es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f., 115 E. 2 S. 116).
1.1. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen. Unbeachtlich sind blosse Verweise auf die Akten; inwiefern das angefochtene Urteil Recht verletzt, ist in der Rechtsschrift selbst darzulegen (<ref-ruling> E. 2 S. 116 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die genannten Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18). Neue Vorbringen sind nur zulässig, soweit erst der angefochtene Entscheid dazu Anlass gibt (<ref-law>), was wiederum näher darzulegen ist (<ref-ruling> E. 2.2.1 S. 226; <ref-ruling> E. 3 S. 395).
2.
Mit dem Vergleichsvertrag vom 27. September 2011 vereinbarten die Parteien eine Erhöhung der ursprünglich vom Beschwerdeführer geschuldeten Summe von Fr. 371'000.-- um Fr. 64'000.-- auf Fr. 435'000.-- jeweils nebst Zins und wandelten diesen Betrag in ein Darlehen um. Der Beschwerdeführer hat sich im kantonalen Verfahren unter anderem darauf berufen, im Teilbetrag von diesen Fr. 64'000.-- sei der Vergleichsvertrag aus verschiedenen Gründen unverbindlich. Vor Bundesgericht ist nur noch dieser Teilbetrag streitig.
2.1. Die Vorinstanz erkannte, der in einem Schlichtungsverfahren abgeschlossene Vergleich habe nach <ref-law> die Wirkungen eines rechtskräftigen Entscheides, mithin die gleichen Wirkungen wie ein gerichtlicher Vergleich. Zivilrechtliche Mängel (insbesondere Willensmängel und Ungültigkeit nach <ref-law>) eines gerichtlichen Vergleiches könnten daher nur mittels Revision geltend gemacht werden, ansonsten dem Vergleich materielle Rechtskraft zukomme. Den Akten sei nicht zu entnehmen, das der Abschreibungsentscheid des Vermittlungsamtes vom 27. September 2011 oder der am gleichen Tag geschlossene Vergleich angefochten worden seien. Die zivilrechtliche Unverbindlichkeit könne daher im Aberkennungsverfahren nicht geltend gemacht werden.
2.2. Der Beschwerdeführer stellt diese Rechtsauffassung grundsätzlich nicht in Abrede (vgl. Art. 208 Abs. 2 i.V.m. <ref-law>), er ist aber der Auffassung, das Dokument vom 27. September 2011 stelle nach der unbestrittenen Auffassung des Einzelrichters der March weder ein Urteil noch einen gerichtlichen Vergleich dar, sondern höchstens eine Schuldanerkennung gemäss <ref-law>. Die Vorinstanz sei von der Prämisse ausgegangen, es handle sich um einen gerichtlichen Vergleich, ohne sich mit der Argumentation des Einzelrichters im Rechtsöffnungsverfahren zu befassen. Würde es sich um einen gerichtlichen Vergleich handeln, wäre die definitive Rechtsöffnung erfolgt.
2.3. Der Beschwerdeführer verweist auf die Argumentation des Rechtsöffnungsrichters. Ein derartiger Verweis ist keine genügende Beschwerdebegründung. In seiner Beschwerdeschrift selbst müsste der Beschwerdeführer darlegen, inwiefern die Annahme, dass es sich bei der getroffenen Vereinbarung um einen gerichtlichen Vergleich handle, Recht verletzt. Dabei müsste er ausschliesslich gestützt auf die im angefochtenen Entscheid enthaltenen Feststellungen argumentieren oder entweder mit Aktenhinweisen aufzeigen, dass er die nicht festgestellten Umstände bereits im kantonalen Verfahren prozesskonform behauptet hat, oder darlegen, dass erst der angefochtene Entscheid dazu Anlass gegeben hat, entsprechende Behauptungen aufzustellen. Diesen Anforderungen genügt die Beschwerde nicht.
Überdies wäre die Einschätzung des Rechtsöffnungsrichters für die Aberkennungsklage, in der, wie der Beschwerdeführer selbst erkennt, die materielle Rechtslage im ordentlichen Verfahren geprüft wird, nicht verbindlich. Definitive Rechtsöffnung kann zudem nur gewährt werden, wenn der Schuldner zur definitiven Zahlung einer bestimmten Geldleistung verpflichtet wird (vgl. <ref-ruling> E. 2.3 S. 318). Im abgeschlossenen Vergleich verpflichtete sich der Beschwerdeführer nicht zur definitiven Zahlung einer bestimmten Geldleistung, sondern es wurde vereinbart, den geschuldeten Betrag in ein Darlehen umzuwandeln. Aus der Tatsache, dass keine definitive Rechtsöffnung erfolgte, kann mithin für die Frage, ob es sich um einen gerichtlichen Vergleich handelt, nichts abgeleitet werden.
2.4. Der Beschwerdeführer macht sodann geltend, der Vergleichsbetrag liege über dem vor Schlichtungsbehörde gestellten Rechtsbegehren (Fr. 371'000.--). Die Verfügung erwähne den Streitgegenstand nicht, der dieser Überteuerung hätte vorangehen sollen. Somit könne der Vergleich nicht als gerichtlich protokolliert gelten und fehle es im Umfang der Überschreitung an einer vorangegangenen Klage. Daher sei der Vergleich nichtig.
Abgesehen davon, dass der Beschwerdeführer in seinen Vorbringen über die Feststellungen im angefochtenen Entschied hinausgeht, ohne eine rechtsgenügliche Sachverhaltsrüge zu erheben, übersieht er, dass gestützt auf die Feststellungen im angefochtenen Entscheid nicht davon auszugehen ist, dass weitere Streitpunkte Gegenstand des Vergleichs bildeten. Der Beschwerdeführer selbst behauptet dies gar nicht, sondern er macht vielmehr sinngemäss geltend, er sei mit der Erhöhung einverstanden gewesen in der Meinung, dadurch werde das vereinbarte höhere Darlehen unkündbar. Das Gericht darf einer Partei zwar grundsätzlich nicht mehr zusprechen als sie verlangt und nicht weniger als die Gegenpartei anerkannt hat (<ref-law>). Die Möglichkeit der Parteien, im Rahmen eines gerichtlichen Vergleiches im gegenseitigen Einverständnis eine Lösung zu finden, wird durch diese Bestimmung aber nicht eingeschränkt (vgl. auch <ref-law>, der den Einbezug von ausserhalb des Verfahrens liegenden Streitfragen ausdrücklich für zulässig erklärt). Damit kann insoweit nicht einmal von einer Fehlerhaftigkeit des Vergleiches mit Blick auf das tiefere Rechtsbegehren die Rede sein, erst Recht nicht von einer Nichtigkeit.
2.5. An der Sache vorbei gehen schliesslich die Ausführungen des Beschwerdeführers zum Inhalt des Vergleichs. Der Beschwerdeführer bringt vor, er habe angenommen, das Darlehen werde durch den Vergleich unkündbar. Er äussert sich zur rechtlichen Zulässigkeit einer derartigen Vereinbarung und beruft sich auf die Leistungsinäquivalenz, wenn eine Änderung der Darlehenssumme ohne Änderung der Kündigungsmöglichkeit angenommen werde. Der Beschwerdeführer müsste aber aufzeigen, inwiefern es Recht verletzt, wenn die Vorinstanz davon ausging, allfällige Willens- und andere Mängel des Vergleichs seien auf dem Weg der Revision geltend zu machen. Da die Beschwerde sich mit dieser Frage nicht rechtsgenüglich auseinandersetzt, ist auf die Vorbringen nicht weiter einzugehen.
3.
Die Beschwerde erweist sich über weite Strecken als nicht hinreichend begründet, weil einerseits bloss auf den Rechtsöffnungsentscheid verwiesen wird und die Beschwerde auf im angefochtenen Entscheid nicht festgestellte Tatsachen Bezug nimmt, ohne dass eine rechtsgenügliche Sachverhaltsrüge erhoben würde. Die Beschwerde äussert sich zur Mangelhaftigkeit des geschlossenen Vergleiches, ohne sich rechtsgenüglich mit der für die Vorinstanz ausschlaggebenden Frage zu befassen, in welchem Rahmen allfällige Mängel geltend zu machen wären. Soweit angesichts der mangelhaften Auseinandersetzung mit dem angefochtenen Entscheid überhaupt auf die Beschwerde eingetreten werden kann, ist sie abzuweisen. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 8. Juli 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak