Sachverhalt:
A.
A.a. Mit Vertrag vom 17. November 2000 mietete die B._ AG (Mieterin, Beklagte, Beschwerdegegnerin) von A._ (Vermieter, Kläger, Beschwerdeführer) per 1. Januar 2001 Büro- und Gewerbeflächen in U._. Das Mietverhältnis wurde für eine feste Dauer von 10 Jahren abgeschlossen und endete am 31. Januar 2011. Der Mietzins wurde von den Parteien ab 1. Januar 2006 auf monatlich Fr. 56'000.-- bestimmt.
A.b. In einer Vereinbarung vom 7. Februar 2006 offerierte der Vermieter der Mieterin im Hinblick auf die unerwartet schlechte Entwicklung ihrer wirtschaftlichen Lage für die restliche Dauer des Mietvertrages bis 2011 und auf der Basis des Mietzinses von Fr. 56'000.-- pro Monat eine monatliche Rückvergütung ab 1. Januar 2006 von Fr. 6'000.--. Bei Erhöhung des massgeblichen Hypothekarzinses für erste Hypotheken der Bank C._ sollte die Rückvergütung ab Datum der Zinserhöhung eine Reduzierung um Fr. 1'000.-- pro Monat für jeweils 0.25 % Hypothekarzinserhöhung erfahren. Ferner sollte die Rückvergütung um Fr. 2'000.-- pro Monat reduziert werden, sobald die Mieterin für die in der unteren Etage leer stehenden Büros einen Untermieter finden würde. In diesem Fall sollte die Reduzierung für die Dauer des Untermietverhältnisses gelten. Das Rückvergütungsversprechen sollte dahinfallen, falls die Mieterin den Mietvertrag vor dem Ende der Vertragsdauer auflösen oder eine Mietzinsreduktion fordern sollte. Die Mieterin nahm die Offerte an.
B.
B.a. Der Vermieter erhob am 19. Februar 2008 Klage beim Bezirksgericht Höfe. Er beantragte mit in der Replik geänderten Begehren, die Mieterin sei zu verpflichten, ihm den Betrag von Fr. 461'312.-- zu bezahlen (für Mietzinsdifferenzen aus den Jahren 2006 bis 2008) und der Mietzins plus Nebenkosten sei per 1. Januar 2009 auf monatlich Fr. 69'015.-- festzusetzen.
Mit Urteil vom 16. August 2012 wies das Bezirksgericht Höfe die Klage ab.
B.b. Dagegen erhob der Vermieter Berufung beim Kantonsgericht Schwyz mit dem Antrag, die Mieterin sei zur Zahlung von Fr. 304'228.-- nebst Zins zu verpflichten.
Mit Urteil vom 24. Februar 2014 wies das Kantonsgericht Schwyz die Berufung ab, soweit es darauf eintrat. Es wies insbesondere die Rüge des Vermieters zurück, wonach die erste Instanz zu Unrecht einen Grundlagenirrtum verneint habe und verwarf die Ansicht des Vermieters, die Vereinbarung von Rückvergütungen sei von Anfang an hinfällig gewesen, weil die Mieterin den Mietzins eigenmächtig herabgesetzt habe; das Gericht folgte auch der Ansicht nicht, es sei stillschweigend eine Anpassungsregel oder eine Bedingung vereinbart worden. Schliesslich gelangte das Gericht zum Schluss, die Mieterin habe für den Zeitraum vom 1. Januar 2006 bis 31. Dezember 2008 ihre Zahlungspflicht erfüllt und trat mangels Substanziierung auf das Rechtsbegehren im Umfang der für die Jahre 2009 bis 2010 geforderten Beträge nicht ein.
C.
Mit Beschwerde in Zivilsachen beantragt der Vermieter dem Bundesgericht, es sei das Urteil der Vorinstanz aufzuheben und die Mieterin sei zu vepflichten, ihm Fr. 304'228.-- nebst Zins zu bezahlen; eventualiter sei die Sache zur Vervollständigung des Sachverhalts an die Vorinstanz zurückzuweisen.
Die Vorinstanz und die Beschwerdegegnerin beantragen die Abweisung der Beschwerde, soweit darauf einzutreten ist.
Mit Eingabe vom 12. Juni 2014 machte der Beschwerdeführer von seinem Replikrecht Gebrauch.
Erwägungen:
1.
1.1. Der angefochtene Entscheid betrifft eine Zivilsache (Art. 72 BGG), schliesst das Verfahren ab (Art. 90 BGG) und ist von einem oberen kantonalen Gericht erlassen worden, das als Rechtsmittelinstanz entschieden hat (Art. 75 BGG); der für vermögensrechtliche Angelegenheiten erforderliche Streitwert ist erreicht (Art. 74 Abs. 1 lit. a BGG). Der Beschwerdeführer ist mit seinen Anträgen unterlegen (Art. 76 BGG) und hat seine Beschwerde fristgerecht eingereicht (Art. 100 Abs. 1 BGG). Auf die Beschwerde ist somit unter Vorbehalt gehöriger Begründung einzutreten.
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 III 397 E. 1.4 S. 400; 134 III 102 E. 1.1 S. 104 f.). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (BGE 140 III 16 E. 2.1 S. 18 f.; 139 III 334 E. 3.2.5 S. 339; 138 I 305 E. 4.3 S. 319). Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (BGE 140 III 115 E. 2 S. 116; 134 II 244 E. 2.1 S. 245 f.).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Ausserdem hat der Beschwerdeführer mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat (BGE 140 III 86 E. 2 S. 90; Urteil des Bundesgerichts 4A_565/2013 vom 8. Juli 2014 E. 2.2). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 140 III 86 E. 2 S. 90; 133 II 249 E. 1.4.3 S. 255).
1.4. Der Beschwerdeführer verkennt diese Grundsätze, soweit er den vorinstanzlich festgestellten Sachverhalt teils unter Berufung auf neue Vorbringen und teils ohne gehörige Begründung unter Berufung auf das Willkürverbot erweitert oder kritisiert. Er ist damit nicht zu hören.
2.
Die Parteien haben - auf Offerte des Beschwerdeführers - am 7. Februar 2006 "im Hinblick auf die unerwartet schlechte Entwicklung der wirtschaftlichen Lage" der Beschwerdegegnerin eine monatliche Rückvergütung ab 1. Januar 2006 von Fr. 6'000.-- vereinbart - für die restliche Dauer des Mietvertrages bis 2011 und auf der Basis des derzeitigen Mietzinses von Fr. 56'000.-- pro Monat. Der Beschwerdeführer rügt, die Vorinstanz habe die Unverbindlichkeit dieser Vereinbarung zu Unrecht verneint; denn es habe gar keine wirtschaftliche Notlage der Beschwerdegegnerin bestanden.
2.1. Die Vorinstanz hat das Vorliegen eines Grundlagenirrtums verneint. Sie hat mit Verweis auf die Feststellungen der ersten Instanz erwogen, die Vorstellung des Beschwerdeführers über die "schlechte wirtschaftliche Lage" sei zu vage und zu unbestimmt, um als Vertragsgrundlage gelten zu können. Nach den Feststellungen des Bezirksgerichts hat der Beschwerdeführer in der Parteibefragung ausgesagt, er habe an die schlechte Geschäftslage bzw. Notlage der Mieterin bzw. ihres Aktionärs geglaubt; er habe aber gehofft, dass man irgendwann auf den Ursprungsbetrag zurückgehen werde und sei darin auch von seinem damaligen Rechtsvertreter bestärkt worden. Nach den Ausführungen der ersten Instanz lagen dem Beschwerdeführer die Jahresabschlüsse 2003 und 2004 vor, wonach die Beschwerdegegnerin Verluste in der Höhe von Fr. 1'899'875.59 bzw. Fr. 5'127'832.73 schrieb. Die Jahresrechnung 2005, die dem Beschwerdeführer wohl erst nach Unterzeichnung der Vereinbarung vorgelegen habe, schliesse noch mit einem Verlust von Fr. 16'805.40 ab. Nach den Feststellungen der ersten Instanz hätte der Beschwerdeführer in dieser Situation bereits nicht mehr von einer "schlechten wirtschaftlichen Lage" sprechen wollen, da eine massive Verbesserung zum Vorjahr stattgefunden habe. Die Vorinstanz schloss sich den Erwägungen des Bezirksgerichts an, wonach sich in dieser Einschätzung des Beschwerdeführers die Unbestimmtheit seiner Vorstellung der wirtschaftlichen Notlage zeige. Denn der Beschwerdeführer könne nicht ernsthaft davon ausgegangen sein, die Beschwerdegegnerin werde fortlaufend bis ins Jahr 2011 Verluste in der Höhe derjenigen der Geschäftsjahre 2003 und 2004 schreiben; wenn er unter diesen Umständen seiner Vertragspartnerin gegenüber nicht definiert habe, was er konkret unter einer "schlechten wirtschaftlichen Lage" verstehe, könne er nicht verlangen, dass diese nach Treu und Glauben eine unbestimmte Sachlage als Vertragsgrundlage begreife. Dazu komme, dass Ziel der Vereinbarung gerade gewesen sei, die wirtschaftliche Lage der Beschwerdegegnerin zu verbessern.
2.2. Ein Vertrag ist für denjenigen unverbindlich, der sich beim Abschluss in einem wesentlichen Irrtum befunden hat (Art. 23 OR). Ein solcher liegt namentlich vor, wenn der Irrtum einen bestimmten Sachverhalt betraf, der vom Irrenden nach Treu und Glauben im Geschäftsverkehr als eine notwendige Grundlage des Vertrages betrachtet wurde (Art. 24 Abs. 1 Ziff. 4 OR). Neben der subjektiven Wesentlichkeit ist erforderlich, dass der zugrunde gelegte Sachverhalt auch objektiv, vom Standpunkt oder nach den Anforderungen des loyalen Geschäftsverkehrs als notwendige Grundlage des Vertrages erscheint (BGE 136 III 528 E. 3.4.1 S. 532; 132 II 161 E. 4.1 S. 165 f.). Der Irrtum gemäss Art. 24 Abs. 1 Ziff. 4 OR kann sich zwar auf eine künftige Tatsache beziehen, jedoch nur, wenn diese Tatsache im Zeitpunkt des Vertragsschlusses objektiv als sicher angesehen werden konnte (BGE 118 II 297 E. 2b S. 300). Voraussetzung ist weiter, dass die Gegenpartei nach Treu und Glauben im Geschäftsverkehr hätte erkennen müssen, dass die Sicherheit des Eintrittes des zukünftigen Ereignisses für die andere Partei Vertragsvoraussetzung war (BGE 118 II 297 E. 2b S. 300; vgl. auch Urteil 4A_462/2012 vom 27. November 2012 E. 5.1.3). Wie sich schon aus dem Wortlaut von Art. 24 Abs. 1 Ziff. 4 OR ergibt, muss sich die Fehlvorstellung auf einen "bestimmten Sachverhalt" ("sur des faits", "una determinata condizione di fatto") beziehen.
2.3. Die Vorinstanz hat zutreffend verneint, dass der Beschwerdeführer bestimmte Vorstellungen über die gegenwärtige und künftige wirtschaftliche Lage der Beschwerdegegnerin umschrieb, welche diese nach Treu und Glauben als Grundlage des Vertrages hätte erkennen können und müssen. Der Beschwerdeführer legt auch in seiner Rechtsschrift an das Bundesgericht nicht dar, wie sich nach seiner Vorstellung die wirtschaftliche Situation der zur Buchführung verpflichteten Beschwerdegegnerin konkret hätte entwickeln müssen, als er dieser die umstrittene Rückvergütung bis zum Ende des Mietverhältnisses offerierte. Erst recht weist er nicht nach, dass er im kantonalen Verfahren konkrete Zahlen genannt hätte, welche der Beschwerdegegnerin hätten bekannt sein müssen. Er weist zwar zutreffend darauf hin, es ergebe sich schon aus dem Wortlaut seiner Offerte vom 7. Februar 2006, dass ihn die unerwartet schlechte Entwicklung der wirtschaftlichen Lage der Beschwerdegegnerin zu seinem Angebot motivierte. Es trifft insofern zu, dass die wirtschaftliche Situation der Beschwerdegegnerin, wie sie sich namentlich aus den Abschlüssen der Jahre 2003 und 2004 ergab, den Beschwerdeführer für die Beschwerdegegnerin erkennbar zu seinem Angebot veranlasste. Die Beschwerdegegnerin hätte aber entgegen der Ansicht des Beschwerdeführers nicht erkennen müssen, dass für diesen notwendige Grundlage des Vertrages die Annahme gewesen sei, die Beschwerdegegnerin würde den Mietvertrag bis zum Ende seiner festen Dauer nicht ohne die Rückvergütungen einhalten können (vgl. Beschwerde, S. 13 f.). Es ist zwar plausibel, dass bei einem monatlichen Mietzins von Fr. 56'000.-- eine Rückvergütung im Umfang von Fr. 6'000.-- monatlich die Kosten reduziert und zu einer Verbesserung der wirtschaftlichen Situation beiträgt. Dass jedoch eine Reduktion von Mietkosten in diesem Umfang ohne andere Massnahmen ausreichen könnte, einem Unternehmen die Fortführung seiner Wirtschaftstätigkeit zu ermöglichen, ist nicht nachvollziehbar. Die vom Beschwerdeführer als massgeblich erachtete Möglichkeit, den Mietvertrag wirtschaftlich einzuhalten, entbehrt zudem der objektiven Bestimmtheit. Die Beschwerdegegnerin konnte somit nach Treu und Glauben nicht erkennen, unter welchen Bedingungen der Beschwerdeführer die Bezahlung des ganzen Mietzinses für möglich hielt bzw. wie sich ihre wirtschaftliche Situation nach der Vorstellung des Beschwerdeführers darstellen und entwickeln müsste, um sein Entgegenkommen zu rechtfertigen.
2.4. Die Vorinstanz hat Bundesrecht korrekt angewendet, wenn sie den Umstand "unerwartet schlechte wirtschaftliche Entwicklung" nicht als hinreichend bestimmte Tatsache erkannte, welche die Beschwerdegegnerin nach Treu und Glauben als Vertragsgrundlage hätte erkennen müssen. Ein Grundlagenirrtum nach Art. 24 Abs. 1 Ziff. 4 OR ist somit zu verneinen.
3.
Der Beschwerdeführer rügt weiter, die Vorinstanz habe die Vereinbarung der Parteien vom 7. Februar 2006 falsch ausgelegt. Der Beschwerdeführer stellt nicht in Abrede, dass ein tatsächlich übereinstimmender Wille der Parteien in Bezug auf die umstrittene Vereinbarung nicht festgestellt ist. Er hält jedoch dafür, die Vorinstanz habe den Vertrauensgrundsatz verletzt, indem sie aus den Vertragsbedingungen nicht auf ein Dahinfallen der Vereinbarung geschlossen habe.
3.1. Der Bestand eines Vertrages ist wie dessen Inhalt durch Auslegung der Willensäusserungen der Parteien zu bestimmen. Ziel der Vertragsauslegung ist es, in erster Linie den übereinstimmenden wirklichen Parteiwillen festzustellen (Art. 18 Abs. 1 OR). Bleibt eine tatsächliche Willensübereinstimmung unbewiesen, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzipes so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten (BGE 138 III 659 E. 4.2.1 S. 666 mit Hinweisen). Dabei ist vom Wortlaut der Erklärungen auszugehen, welche jedoch nicht isoliert, sondern aus ihrem konkreten Sinngefüge heraus zu beurteilen sind (BGE 138 III 659 E. 4.2.1 S. 666; 123 III 165 E. 3a S. 168). Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an die Feststellungen der kantonalen Vorinstanz über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (BGE 138 III 659 E. 4.2.1 S. 666 f.; 132 III 626 E. 3.1 S. 632, 24 E. 4 S. 28; je mit Hinweisen).
3.2. Die Vorinstanz hat erwogen, der Beschwerdeführer vermöge gegen die erstinstanzliche Auslegung der Vereinbarung vom 7. Februar 2006 - wonach es sich bei den sog. Rückvergütungen um Forderungen aus Mietvertrag handle - nichts Stichhaltiges vorzubringen. Die Vereinbarung könne nicht anders verstanden werden, als dass sich die Rückvergütungen auf die Mietzinszahlungen beziehen würden und auf Seiten der Beschwerdegegnerin auch tatsächlich zu einer Reduktion des monatlichen Mietzinses führten. Mit dem Begriff der Rückvergütung werde bloss eine Zahlungsmodalität bezeichnet, während keine Umstände ersichtlich seien, dass diese Rückvergütungen losgelöst vom Mietvertrag der Parteien vereinbart worden seien. Damit habe die Beschwerdegegnerin entgegen der Ansicht des Beschwerdeführers nicht im Voraus auf das Verrechnungsrecht verzichten können, da dies im Mietrecht durch Art. 265 OR ausgeschlossen sei. Gegen das Vorgehen der Beschwerdegegnerin, den monatlich geschuldeten Mietzins jeweils mit der Rückvergütung zu verrechnen, sei damit nichts einzuwenden. Die Wahrnehmung des Verrechnungsrechts könne insbesondere nicht als Mietzinsreduktionsbegehren verstanden werden, das zum Dahinfallen der Vereinbarung geführt hätte. Nach Ansicht der Vorinstanz liess sich zudem der Vereinbarung keine auflösende Bedingung entnehmen, wonach diese dahinfallen sollte, wenn keine "schlechte Entwicklung der wirtschaftlichen Lage" der Beschwerdegegnerin mehr vorliege.
3.3. Der Beschwerdeführer hält dafür, die Vereinbarung der Parteien sei nicht als Mietzinsreduktion auszulegen. Vielmehr sei ausdrücklich an der Höhe des Mietzinses festgehalten und zusätzlich eine Rückvergütung als Sanierungsbeitrag an die Beschwerdegegnerin vereinbart worden. Da somit auf die Vereinbarung über die Rückvergütungen kein Mietrecht anwendbar sei, finde Art. 265 OR, wonach der Mieter nicht im Voraus auf die Verrechnung verzichten könne, keine Anwendung. In der Vereinbarung habe die Beschwerdegegnerin konkludent auf die Verrechnung verzichtet. Sie habe daher den Mietvertrag gebrochen, indem sie trotzdem den monatlich geschuldeten Mietzins von Fr. 56'000.-- jeweils mit den Sanierungsbeiträgen von Fr. 6'000.-- verrechnet und bloss Fr. 50'000.-- überwiesen habe. Aufgrund der Nichteinhaltung des Mietvertrages finde die in der Vereinbarung vorgesehene Klausel Anwendung, wonach das Rückvergütungsversprechen dahinfalle und sämtliche bis dahin bezahlten Vergütungen zur Rückzahlung fällig würden.
3.4. In der Vereinbarung vom 7. Februar 2006 wird bestimmt, die Rückvergütung stehe auf der Grundlage, der Beschwerdegegnerin die Einhaltung des Mietvertrages bis zum Ende der festen Dauer zu ermöglichen. Sollte die Beschwerdegegnerin dennoch den Mietvertrag vor dem Ende der Vertragsdauer auflösen oder eine Mietzinsreduktion fordern, so fällt danach das Rückvergütungsversprechen dahin und es werden sämtliche bis dahin bezahlten Vergütungen zur Rückzahlung fällig. Mit dieser Klausel haben die Parteien den Bezug ihrer Vereinbarung zum Mietvertrag zunächst selbst hergestellt. Der Beschwerdeführer behauptet auch in seiner Beschwerde nicht, dass die Parteien abgesehen vom Mietverhältnis noch andere (geschäftliche) Beziehungen unterhalten hätten. Es ist unter diesen Umständen nicht erkennbar, was den Beschwerdeführer hätte veranlassen können, der Beschwerdegegnerin Sanierungsbeiträge zu bezahlen. Die Vorinstanz hat zutreffend geschlossen, dass die monatliche "Rückvergütung" im Zusammenhang mit dem Mietvertrag der Parteien nach dem Vertrauensprinzip als Mietzinsreduktion zu verstehen ist und die vereinbarte Zahlungsmodalität das Verrechnungsrecht der Mieterin nicht ausschliesst. Dies ergibt sich nicht nur aus den gesamten im angefochtenen Urteil festgestellten Umständen, sondern insbesondere auch aus dem Wortlaut der Vereinbarung. Danach wird die Höhe der sog. Rückvergütung vom Referenz-Hypothekarzins sowie von der Untervermietung eines Teils der Mieträume abhängig gemacht. Die Vorinstanz hat die Rückvergütung somit zutreffend als Mietzinsreduktion qualifiziert und folglich Art. 265 OR nicht unzutreffend angewendet.
3.5. Die vom Beschwerdeführer weiter behauptete vertragliche Bedingung, wonach die Zahlungen nur für die Eventualität der Notlage der Beschwerdegegnerin geschuldet gewesen seien, bedürfte der Konkretisierung. Wenn die Beschwerdegegnerin nicht erkennen konnte, welche konkreten wirtschaftlichen Daten nach Ansicht des Beschwerdeführers für die restliche Mietdauer 2006 bis Januar 2011 erfüllt sein müssten, damit er die offerierte Rückvergütung von Fr. 6'000.-- monatlich als Vertragsgrundlage gewähre (oben E. 2), so konnte und musste sie dies nach dem Vertrauensgrundsatz auch nicht als vertragliche Bedingung erkennen. Die Rüge der fehlerhaften Vertragsauslegung erweist sich auch hier als unbegründet.
4.
Der Beschwerdeführer rügt schliesslich, die Vorinstanz sei zu Unrecht auf die Forderung für die Jahre 2009 und 2010 "nicht eingetreten". Seiner Begründung ist jedoch nicht zu entnehmen, inwiefern diese Forderung zugesprochen werden könnte, wenn entgegen seiner Ansicht davon ausgegangen wird, die Vereinbarung vom 7. Februar 2006 sei nicht dahingefallen.
5.
Die Beschwerde ist nach dem Gesagten abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'500.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 4. August 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier