Sachverhalt:
A.
B._ (Klägerin, Beschwerdegegnerin) und A._ (Beklagter, Beschwerdeführer) schlossen im September 2014 einen Prozessfinanzierungsvertrag ab, den sie im Mai 2019 modifizierten. Grundlage dieses Vertrags bildete ein Prozess, den die Klägerin erfolglos bis vor Bundesgericht führte.
Gemäss Ziff. 1 dieses Vertrags bezahlte der Beklagte "alle von nun an anfallenden Rechtskosten und Anwaltskosten", derweil die Klägerin sämtliche bisherigen Kosten übernehmen sollte. In der Vertragsänderung vom Mai 2019 wurde unter den Ziffern 1 und 2 folgendes vereinbart:
"SG [Stiller Gesellschafter; Beklagter] übernimmt sämtliche angefallenen Kosten und auch die Kosten (Anwaltskosten bis maximal CHF 9'000.00) der Beschwerde an das Bundesgericht im Falle des Unterliegens, inbegriffen Prozessentschädigungen an den Gegenanwalt. Beim Bundesgericht wird ein Antrag auf aufschiebende Wirkung der Beschwerde gestellt. Wird dieser abgewiesen, so bezahlt SG alle dann fälligen aufgelaufenen Kosten."
Am 20. Juni 2019 wurde der Klägerin Rechnung im Betrag von Fr. 63'976.50 für die ihr im Verfahren vor dem Bezirksgericht Horgen auferlegte Parteientschädigung gestellt. Da der Beklagte diesen Betrag lediglich bis auf eine Restanz von Fr. 32'000.-- beglich, sah sie sich gezwungen, den Restbetrag über ihren damaligen Rechtsvertreter selbst zu tilgen. Mit E-Mail vom 6. August 2019 sowie Schreiben vom 23. August 2019 forderte sie den Beklagten vergebens auf, ihr diesen Betrag zu ersetzen. Am 4. September 2019 wurden ihr aus dem Verfahren vor dem Bezirksgericht Horgen zudem Gerichtskosten von Fr. 30'617.20 in Rechnung gestellt. Am 7. und 11. September 2019 forderte sie den Beklagten erneut vergebens auf, ihr auch diesen Betrag zu ersetzen.
B.
Mit Klage vom 20. Dezember 2019 beantragte die Klägerin beim Bezirksgericht March, der Beklagte sei kostenfällig zu verpflichten, ihr die Beträge von Fr. 32'000.-- und Fr. 30'617.20 jeweils nebst Zins zu ersetzen.
Mit Urteil vom 16. Dezember 2020 hiess das Bezirksgericht die Klage (mit Ausnahme geringfügiger Abänderungen der jeweiligen Zinsdauer) antragsgemäss gut. Es erachtete die Forderungen in ihrer jeweiligen Höhe aufgrund des Urteils des Bezirksgerichts Horgen und der Rechnungen der Inkassostelle Gerichte für hinreichend behauptet und belegt sowie insoweit durch den Beklagten nicht bestritten.
Eine dagegen gerichtete Berufung des Beklagten wies das Kantonsgericht Schwyz mit Urteil vom 29. September 2021 ab, soweit es darauf eintrat.
Es erwog, der Beklagte mache geltend, die Folgen des Zürcher Verfahrens beträfen auch Prozesskosten, die vor Abschluss des Prozessfinanzierungsvertrags angefallen und somit von diesem nicht erfasst seien. Er begründe aber seine Vorbringen ungenügend, weil er nicht explizit darlege, dass er erstinstanzlich bestritten habe, dass die Prozesskosten vollständig unter den Vertrag fallen würden. Sein Antrag in Klageantwort und Duplik, die klägerische Forderung sei vollumfänglich abzuweisen, genüge dafür nicht. Insofern sei auf die Berufung nicht einzutreten. Auch habe im erstinstanzlichen Verfahren kein Anlass für die Ausübung der gerichtlichen Fragepflicht gemäss <ref-law> bestanden. In diesem Punkt sei die Berufung abzuweisen.
C.
Mit Beschwerde in Zivilsachen vom 1. November 2021 beantragt der Beklagte dem Bundesgericht, das Urteil des Kantonsgerichts sei aufzuheben und die Klage vollumfänglich abzuweisen. Eventualiter sei die Sache zur Neubeurteilung an das Kantonsgericht zurückzuweisen. In prozessualer Hinsicht beantragt er, der Beschwerde sei die aufschiebende Wirkung zu erteilen.
Es wurden keine Vernehmlassungen eingeholt. Mit Verfügung vom 3. November 2021 wurde das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1.
Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2, 115 E. 2).
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1).
2.2. Der Beschwerdeführer macht in seiner Beschwerde unter dem Titel "Sachverhalt" geltend, nachdem auf die Vorbringen in seinen Rechtsschriften mehrheitlich nicht eingegangen bzw. auf die Berufung nicht eingetreten worden sei, wiederhole er die Ausführungen zur Sache. Er zeigt aber nicht hinreichend (mit präzisem Aktenverweis) auf, dass die entsprechenden Sachverhaltselemente prozesskonform ins Verfahren eingebracht wurden. Darauf ist nicht einzutreten. Dies gilt auch, soweit er Beweise offeriert, ohne darzulegen, dass er diese bereits vor den Vorinstanzen prozesskonform angeboten hat. Schliesslich genügt es auch nicht, pauschal auf Beilagen der Beschwerdegegnerin zu verweisen, mit dem Ziel, den vorinstanzlich festgestellten Sachverhalt zu ergänzen. Massgebend ist der Sachverhalt, wie er von der Vorinstanz festgestellt worden ist.
3.
Der Beschwerdeführer macht geltend, der vorinstanzliche Vorwurf, er habe seine Vorbringen im Berufungsverfahren ungenügend begründet, sei unzutreffend. Er zeigt aber nicht auf, dass er - entgegen der Vorinstanz - im erstinstanzlichen Verfahren hinreichend geltend gemacht hätte, dass die Entschädigungsfolgen im Zürcher Verfahren auch Prozesskosten beträfen, die vor dem Abschluss des Prozessfinanzierungsvertrags angefallen und durch diesen nicht erfasst seien. Er macht zwar geltend, die Vorinstanz sei auf seine Vorbringen nicht eingetreten, womit sie seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt und in Willkür verfallen sei. Dabei legt er aber nicht hinreichend dar, welche seiner wesentlichen Vorbringen die Vorinstanz nicht berücksichtigt haben soll bzw. inwiefern deren Berücksichtigung zu einem anderen Ergebnis geführt hätte. Damit genügt er den Rügeanforderungen nicht (vgl. hiervor E. 1).
4.
Der Beschwerdeführer rügt, die Vorinstanz verneine eine Verletzung der gerichtlichen Fragepflicht (<ref-law>) durch die Erstinstanz, womit sie ihrerseits Bundesrecht verletze. Der vorliegende Fall sei ein Musterbeispiel für die Anwendung der gerichtlichen Fragepflicht. Die Beschwerdegegnerin sei bereits im erstinstanzlichen Verfahren anwaltlich vertreten gewesen, er hingegen nicht.
4.1. Ist das Vorbringen einer Partei unklar, widersprüchlich, unbestimmt oder offensichtlich unvollständig, so gibt ihr das Gericht durch entsprechende Fragen Gelegenheit zur Klarstellung und zur Ergänzung (<ref-law>).
Nach der Verhandlungsmaxime tragen grundsätzlich die Parteien die Verantwortung für die Beibringung des Tatsachenfundaments. Der Zweckgedanke der allgemeinen gerichtlichen Fragepflicht nach <ref-law> besteht darin, dass eine Partei nicht wegen Unbeholfenheit ihres Rechts verlustig gehen soll, indem der Richter bei klaren Mängeln der Parteivorbringen helfend eingreifen soll. Die Ausübung der gerichtlichen Fragepflicht darf keine Partei einseitig bevorzugen und nicht zu einer Verletzung des Grundsatzes der Gleichbehandlung der Parteien führen. Vor allem dient die gerichtliche Fragepflicht nicht dazu, prozessuale Nachlässigkeiten der Parteien auszugleichen. Wie weit das Gericht eingreifen soll, hängt von den Umständen des Einzelfalls ab, namentlich von der Unbeholfenheit der betroffenen Partei (Urteile 4A_446/2020 vom 8. März 2021 E. 7.3.1; 4A_375/2015 vom 26. Januar 2016 E. 7.1, nicht publ. in: <ref-ruling>; 4A_78/2014 und 4A_80/2014 vom 23. September 2014 E. 3.3.3 mit Hinweisen).
Die gerichtliche Fragepflicht nimmt den Parteien die Verantwortung für die zeitgerechte Prozessführung nicht ab (Urteil 5A_921/2014 vom 11. März 2015 E. 3.4.2; zit. Urteil 4A_78/2014 und 4A_80/2014 E. 3.3.3 mit Literaturhinweis). Dies bedeutet insbesondere, dass Tatsachen innerhalb der gesetzlich vorgegebenen zeitlichen Schranken behauptet und belegt werden müssen, mit anderen Worten, der Eventualgrundsatz und die jeweils geltende Novenregelung zu berücksichtigen sind (zit. Urteil 5A_921/2014 E. 3.4.2 mit Literaturhinweis).
4.2. Die Vorinstanz erwog, die Erstinstanz habe davon ausgehen können, der erst im Berufungsverfahren anwaltlich vertretene Beschwerdeführer habe bewusst nicht bestritten, sich grundsätzlich verpflichtet zu haben, die Prozesskosten der Beschwerdegegnerin zu übernehmen. Die Erstinstanz habe keinen Anlass zur Annahme gehabt, er hätte aus Unbeholfenheit vergessen, darzulegen, dass sich die eingeklagten Forderungen nicht vollumfänglich auf den Prozessfinanzierungsvertrag abstützen liessen, zumal im geänderten Vertrag von der Übernahme sämtlicher angefallener Kosten die Rede sei. Auch einem Laie hätte ersichtlich sein müssen, dass er dies beim Gericht darlegen müsste, falls seiner Auffassung nach nicht die vollumfängliche Abdeckung der Kosten vereinbart gewesen wäre. Ein Nachfragen des Gerichts, ob die eingeklagten Forderungen vollständig durch den Prozessfinanzierungsvertrag gedeckt seien, hätte eine einseitige Bevorzugung des Beschwerdeführers dargestellt. Daher habe kein Anlass bestanden, den Beschwerdeführer mündlich zum Prozessfinanzierungsvertrag zu befragen, zumal dieser auf eine Hauptverhandlung verzichtet habe. Daher bestehe auch kein Anlass, eine solche Befragung im Rahmen einer mündlichen Berufungsverhandlung nachzuholen.
4.3. Der Beschwerdeführer vermag keine Verletzung von <ref-law> darzutun. Er übergeht, dass seine Vorbringen zur Frage, ob die eingeklagten Forderungen vollumfänglich vom Vertrag gedeckt seien, nicht lückenhaft waren, sondern dass er gemäss den für das Bundesgericht verbindlichen vorinstanzlichen Feststellungen gar keine diesbezüglichen Ausführungen gemacht hat. Wie die Vorinstanz ohne Verletzung von Bundesrecht erwog, durfte von ihm im erstinstanzlichen Verfahren (auch als nicht anwaltlich vertretener Laie) erwartet werden, dass er seine Auffassung kund tut, wonach nicht sämtliche Kosten- und Entschädigungsfolgen durch den Prozessfinanzierungsvertrag abgedeckt seien. Von ihm hätte erwartet werden dürfen, dass er im erstinstanzlichen Verfahren zumindest geltend macht, dass er in diesem Sinne das Ausmass seiner Zahlungspflicht bestreitet. Dies wäre auch ohne vertiefte Ausführungen zur eigentlichen Auslegung des Prozessfinanzierungsvertrags bzw. dessen Modifikation möglich gewesen. Er macht in seiner Beschwerde denn auch selbst geltend, dass in Ziffer 7 der Klage von der Beschwerdegegnerin ausgeführt worden sei, er habe sich (durch die Modifikation des Prozessfinanzierungsvertrags) neu verpflichtet, sämtliche angefallene Kosten und auch die Kosten der Beschwerde an das Bundesgericht zu bezahlen. Damit musste ihm klar sein, dass er diese Aussage bestreiten musste. Seine Aussage, er hätte mangels expliziter Aussage keine Chance gehabt, die Interpretation des (modifizierten) Prozessfinanzierungsvertrags durch die Beschwerdegegnerin zu bestreiten, ist somit unbegründet. Der Umstand, dass er die Abweisung der Klage beantragte, reicht für die Annahme einer diesbezüglich (unvollständigen) Bestreitung jedenfalls nicht. Damit geht auch sein Vorwurf fehl, die Vorinstanzen hätten das Ziel einer materiell sachgerechten Erledigung des Rechtsstreits vereitelt. Nicht einschlägig sind daher auch seine Ausführungen, wonach es noch diverse vorgeschaltete Wege gegeben hätte, Treu und Glauben im Prozess bzw. <ref-law> wenigstens im Ansatz nachzukommen, zumal es diesbezüglich auch an der Erschöpfung des materiellen Instanzenzugs fehlt (vgl. <ref-ruling> E. 1.1). Unbegründet ist nach dem Gesagten schliesslich auch sein Einwand, dass die Erstinstanz unabhängig von seinem Verzicht eine Hauptverhandlung hätte durchführen müssen.
Zusammenfassend hat die Vorinstanz kein Bundesrecht verletzt, indem sie eine Verletzung der gerichtlichen Fragepflicht (<ref-law>) durch die Erstinstanz verneinte.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit überhaupt darauf einzutreten ist. Der Beschwerdeführer wird kostenpflichtig (<ref-law>). Eine Parteientschädigung ist nicht geschuldet, da keine Vernehmlassung eingeholt wurde, womit der Beschwerdegegnerin kein entschädigungspflichtiger Aufwand entstanden ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 21. März 2022
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Gross