Sachverhalt:
A.
C._ (nachfolgend: Kläger) hatte insbesondere im Zusammenhang mit seiner Überbauung D._ gegenüber der Bank E._ AG und weiteren Gläubigern Schulden in Höhe von über Fr. 15 Mio. Aus diesem Grund sollte seine Privatliegenschaft mit Seeanstoss und Bootshaus, U._, am 7. April 2006 versteigert werden. Einige Tage vor der Versteigerung meldete sich F._ beim Kläger und erklärte ihm, er könne zusammen mit G._ bzw. über die von ihnen beherrschte A._ AG (Beklagte, Beschwerdeführerin) eine Verwertung des Grundstücks möglicherweise verhindern. Am 5. April 2006 unterzeichneten der Kläger sowie die G._ AG mit der Beklagten eine Vereinbarung mit unter anderem folgendem Inhalt:
"Die A._ AG hat diese Forderungen von der Bank E._ AG mit Kaufvertrag vom 5. April 2006 gekauft und ist bereit, auf die Durchführung der Versteigerung vom 07.04.2006 zu verzichten. C._ verpflichtet sich demgegenüber der A._ AG über die übernommenen Forderungen hinaus ein Risikospezialzins von CHF 0.8 Mio. betreffend Forderung U._ und CHF 0.8 Mio. betreffend Forderung D._ zu übernehmen."
Ebenfalls am 5. April 2006 räumte der Kläger der Beklagten betreffend dasselbe Grundstück ein Kaufsrecht ein. Der Kaufpreis wurde für den Ausübungsfall auf pauschal Fr. 8'160'000.-- festgesetzt. In der Folge unterzeichnete der Kläger verschiedene weitere Vereinbarungen respektive Erklärungen. Am 14. März 2007 reduzierte er in einem Nachtrag zum Kaufsrechtsvertrag vom 5. April 2006 den Kaufsrechtspreis von Fr. 8'160'000.-- um Fr. 900'000.-- auf Fr. 7'260'000.-- und in einem weiteren Nachtrag vom 8. Oktober 2007 um Fr. 500'000.-- auf Fr. 6'760'000.--. Weiter übertrug der Kläger der Beklagten zur Absicherung sämtlicher Forderungen aus den gegenwärtigen und zukünftigen Geschäftsbeziehungen zwölf Inhaberschuldbriefe im Gesamtbetrag von Fr. 7'000'000.--, alle lastend auf dem Grundstück U._ und zu Gesamtpfand haftend. Mit Schreiben vom 10. April 2008 widerrief der Kläger die am 9. April 2008 geleistete Unterschrift zur Eigentumsübertragung der Grundstücke U._ und V._.
B.
Mit Klageschrift vom 24. September 2008 unterbreitete der Kläger dem Bezirksgericht March die folgenden Rechtsbegehren:
"1. Es sei festzustellen, dass die nachfolgenden Verträge und Erklärungen des Klägers mit bzw. gegenüber der Beklagten infolge Nichtigkeit i.S.v. <ref-law>, Übervorteilung des Klägers i.S.v. <ref-law> und wegen Mängeln bei Vertragsabschluss i.S. der <ref-law> (absichtliche Täuschung, Furchterregung, Grundlagenirrtum des Klägers) für den Kläger unverbindlich sind:
- Vereinbarung der Beklagten mit dem Kläger sowie der G._ AG vom 5. April 2006
[...]
2. Es sei das Notariat und Grundbuchamt March anzuweisen, wiederum den Kläger als Eigentümer des Grundstücks GB xxx, Wohnhaus, Bootshaus, Kleingebäude mit yyy m2 Gebäudegrundfläche, U._ im Grundbuch einzutragen; dies Zug um Zug nach Bezahlung eines noch zu bestimmenden Betrages durch den Kläger an die Beklagte.
3. Es sei das Betreibungsamt Altendorf anzuweisen, dem Kläger die nachfolgend aufgeführten Schuldbriefe Zug um Zug mit Bezahlung des gemäss Ziffer 2 noch zu bestimmenden Betrages auszuhändigen:
[...]
alle lastend auf Grundbuch Gemeinde Altendorf
GB Nr. xxx haltend yyy m2 mit Wohnhaus, Bootshaus und Kleingebäude U._.
4. [...]
5. Es sei festzustellen, dass die Parteien nach Vollzug der Ziffern 2 bis 4 vorstehend per Saldo aller Ansprüche auseinandergesetzt sind.
-- ..]"
Im Befehlsverfahren erliess der Einzelrichter des Bezirks March am 24. November 2008 gestützt auf ein (bereits vor Klageanhebung gestelltes) Gesuch des Klägers folgende Verfügung:
"1. Über die Liegenschaft GB xxx wird eine Kanzleisperre angeordnet.
2. Das Betreibungsamt Altendorf wird angewiesen, die auf GB xxx lastenden Inhaberschuldbriefe
[...]
einstweilen zurückzubehalten.
3. Die Steuerverwaltung Schwyz, Abteilung Grundstückgewinnsteuer, wird angewiesen, keinerlei Zahlungen an die Beklagte gestützt auf die Vereinbarung zur Forderungsabtretung der Parteien vom 12.11.2007 vorzunehmen.
[...]"
Mit Urteil vom 21. Dezember 2010 erkannte das Bezirksgericht was folgt:
"1. Die Beklagte wird verpflichtet, dem Kläger Fr. 498'326.00 zu bezahlen. Im Übrigen wird die Klage abgewiesen, soweit darauf eingetreten wird.
2. Das Grundbuchamt March wird angewiesen, die mit Verfügung vom 24.11.2008 (SV 08 70) über die Liegenschaft GB xxx verfügte Kanzleisperre zu löschen.
3. Die mit Verfügung vom 24.11.2008 (SV 08 70) angeordnete Anweisung an das Betreibungsamt Altendorf, die auf GB xxx lastenden Inhaberschuldbriefe
(...)
seien einstweilen zurückzubehalten, wird aufgehoben.
4. Die mit Verfügung vom 24.11.2008 (SV 08 70) angeordnete Anweisung an die Steuerverwaltung Schwyz, Abteilung Grundstückgewinnsteuer, keinerlei Zahlungen an die Beklagte gestützt auf die Vereinbarung zur Forderungsabtretung der Parteien vom 12.11.2007 vorzunehmen, wird aufgehoben.
[...]"
Gegen dieses Urteil erhob der Kläger Berufung an das Kantonsgericht Schwyz. Mit Verfügung vom 7. Februar 2011 wurde festgestellt, dass die Massnahmen SV 08 70 bis zu einem gegenteiligen Entscheid weiterhin in Kraft bleiben.
Die Beklagte beantragte die Abweisung der Berufung und stellte mit gleichzeitig erhobener Anschlussberufung folgende Anträge in der Sache:
"1. In Aufhebung von Dispositiv Ziff. 1 des vorinstanzlichen Entscheides sei die Klage vollumfänglich abzuweisen.
2. Eventualiter sei die Tilgung einer allfälligen vom Gericht bestätigten Zahlungsverpflichtung der Beklagten durch Verrechnung festzustellen."
Am 17. Juli 2013 teilte der Rechtsvertreter des Klägers mit, dass Letzterer am 11. Juli 2013 verstorben sei. Die Ehefrau des Klägers, B._ (nachfolgend: Beschwerdegegnerin), trat als alleinige Erbin in den vorliegenden Prozess ein.
Mit Urteil vom 17. Dezember 2013 änderte das Kantonsgericht in teilweiser Gutheissung der Berufung und in Abweisung der Anschlussberufung Dispositivziffer 1 des Urteils des Bezirksgerichts insofern ab, als es die Beklagte verurteilte, dem Kläger Fr. 643'661.90 zu bezahlen. Im Übrigen wies es die Berufung ab und bestätigte das angefochtene Urteil.
C.
Die Beklagte beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts vom 17. Dezember 2013 aufzuheben und die Klage vollumfänglich abzuweisen. Eventualiter sei die vom Kantonsgericht zugunsten der Beschwerdegegnerin festgelegte Zahlung im Sinne der bundesgerichtlichen Erwägungen herabzusetzen, subeventualiter die entsprechende Dispositiv-Ziffer zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin beantragt, die Beschwerde "in Gutheissung" des Urteils des Kantonsgerichts vom 17. Dezember 2013 vollumfänglich abzuweisen. Die Vorinstanz verzichtete auf Vernehmlassung.
Die Parteien reichten Replik und Duplik ein.
Mit Präsidialverfügung vom 26. März 2014 wurde das Gesuch der Beschwerdeführerin um Gewährung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1.
Das angefochtene Urteil des Kantonsgerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz im Sinne von Art. 75 Abs. 1 und 2 BGG. Sodann übersteigt der Streitwert die Grenze nach <ref-law>. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinlänglichen Begründung (Erwägungen 2.1-2.2) - grundsätzlich auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt (vgl. <ref-ruling> E. 2.1).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Soweit sie den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_275/2011 vom 20. Oktober 2011 E. 2, nicht publ. in: <ref-ruling>; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 1.4.3).
Zu beachten ist, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 5.1 S. 22; <ref-ruling> E. 4.1; <ref-ruling> E. 2.1). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.2.1; <ref-ruling> E. 2.1). Dies ist insbesondere dann der Fall, wenn das Sachgericht erhebliche Beweismittel übersieht, augenscheinlich missversteht oder grundlos ausser Acht lässt, oder wenn es aus den vorliegenden Beweisen unhaltbare Schlüsse zieht (vgl. BGE <ref-ruling> E. 2.1). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2; <ref-ruling> E. 1.3). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2b).
Die Beschwerdeführerin präsentiert eine eigene Sachverhaltsdarstellung. Darauf kann nach dem Gesagten nicht abgestellt werden. Auch kann die Beschwerdeführerin im Folgenden nicht gehört werden, soweit sie ihre rechtliche Argumentation auf einen Sachverhalt stützt, der von den verbindlichen Feststellungen der Vorinstanz abweicht, ohne im Einzelnen hinreichend begründete Sachverhaltsrügen zu formulieren.
3.
Die Beschwerdeführerin beanstandet, dass die Vorinstanz die von ihr im Berufungsverfahren erhobene Verrechnungseinrede wegen Verspätung nicht geprüft hat.
3.1. Eine materiell-rechtliche Einrede wie die Verrechnungseinrede kann nur berücksichtigt werden, wenn die Tatsachenbehauptungen und Beweisanträge, mit denen sie begründet wird, novenrechtlich zulässig sind. Alle einredebegründenden Tatsachen und diesbezüglichen Beweismittel fallen unter das Novenrecht (Urteil 4A_432/2013 vom 14. Januar 2014 E. 2.2 mit weiteren Hinweisen; vgl. zur Verjährungseinrede Urteil 4A_305/2012 vom 6. Februar 2013 E. 3.3).
Nach <ref-law> werden neue Tatsachen und Beweismittel im Berufungsverfahren nur noch berücksichtigt, wenn sie ohne Verzug vorgebracht werden (lit. a) und trotz zumutbarer Sorgfalt nicht schon vor erster Instanz vorgebracht werden konnten (lit. b).
3.2. Die Vorinstanz hielt fest, die Beschwerdeführerin habe erstmals in der Anschlussberufung die Einrede der Verrechnung mit Gegenforderungen von insgesamt Fr. 2'077'685.30 erhoben. Diese Verrechnungseinrede sei jedoch verspätet und nicht zu hören, nachdem die Beschwerdeführerin eine Novenberechtigung nicht dargetan habe.
3.3. Wie ausgeführt, unterliegt das Tatsachenfundament, auf das sich die Verrechnungseinrede stützt, dem Novenrecht.
Dass sie das Vorliegen einer Verrechnungsforderung in tatsächlicher Hinsicht erst im Berufungsverfahren behauptet hat, vermag die Beschwerdeführerin nicht zu widerlegen. Sie zitiert zwar aus ihrer Duplik an das Bezirksgericht, wo sie in Ziffer 4 Ausführungen zu angeblichen Forderungen gegen den Kläger gemacht habe. Damit trat sie dem Begehren um Feststellung entgegen, dass die Parteien nach Vollzug der Klagebegehren per Saldo aller Ansprüche auseinandergesetzt seien. Die Beschwerdeführerin meint, mit diesen Darlegungen alle rechtsrelevanten Tatsachen für eine Verrechnung mit Forderungen von mindestens Fr. 357'000.-- sowie die Berücksichtigung der Entschädigung wegen der Nutzung der Liegenschaft U._ dargetan zu haben. Damit seien bereits im erstinstanzlichen Verfahren die für eine Verrechnung wesentlichen Tatsachen vorgebracht worden. Dem kann nicht gefolgt werden. Die Beschwerdeführerin vermag mit dem genannten Hinweis auf ihre in anderem Zusammenhang gemachten Ausführungen in der erstinstanzlichen Duplik jedenfalls nicht aufzuzeigen, dass die Vorinstanz zu Unrecht angenommen hat, die Beschwerdeführerin habe das Tatsachenfundament ihrer erstmals in der Anschlussberufung erhobenen Verrechnungseinrede für ihre Forderungen über Fr. 2'077'685.30 bereits im erstinstanzlichen Verfahren rechtsgenüglich dargelegt.
Die Beschwerdeführerin bringt sodann vor, im erstinstanzlichen Verfahren habe sie mangels vom Kläger anbegehrter verrechenbarer Hauptforderung gar keine eigene Forderungen zur Verrechnung stellen können. Eine Hauptforderung habe sich überhaupt erst aufgrund des erstinstanzlichen Urteils ergeben. Mithin habe erst der Entscheid des Bezirksgerichts, mit welchem dem Kläger ein Betrag von Fr. 498'326.-- zugesprochen worden sei, Anlass zur Verrechnungserklärung mit eigenen Forderungen der Beschwerdeführerin gegeben. Die Vorinstanz habe daher zu Unrecht die Verrechnung nicht berücksichtigt und überdies den Antrag auf Zusprechung einer monatlichen Entschädigung für den unrechtmässigen Verbleib in der Liegenschaft U._ nicht behandelt. Die Beschwerdeführerin hätte aber bereits im Berufungsverfahren darlegen müssen, dass und inwiefern hinsichtlich der tatsächlichen Voraussetzungen der Verrechnungseinrede die Voraussetzungen von <ref-law> erfüllt waren. Indessen liess sie an der besagten Stelle ihrer Anschlussberufung jegliche Ausführungen zur novenrechtlichen Zulässigkeit der Verrechnung vermissen. Sie beschränkte sich vielmehr auf die Behauptung, sie erkläre für den Fall, dass die vorinstanzliche Zahlungsverpflichtung nicht aufgehoben werde, die Verrechnung mit gewissen eigenen Ansprüchen, die sie bereits in der Duplik "aufgeführt" habe. Weil die Beschwerdeführerin ihre Novenberechtigung nicht dargetan hatte, ging die Vorinstanz nicht auf die Verrechnungseinrede ein. Die Beschwerdeführerin vermag dies nicht als bundesrechtswidrig auszuweisen.
Die Rüge gegen die Nichtberücksichtigung der Verrechnungseinrede erweist sich demnach als unbegründet.
4.
4.1. Die Vorinstanz hielt fest, gemäss Vereinbarung vom 5. April 2006 habe sich der Kläger "über die von der Bank E._ AG übernommenen Forderungen hinaus zur Zahlung eines Risikospezialzinses von CHF 0.8 Mio. für die Forderung U._ und CHF 0.8 Mio. für die Forderung D._" verpflichtet. Der Kläger habe der Beschwerdeführerin somit einerseits periodische Zinsen von 5 % und andererseits zusätzlich die genannten Risikospezialzinsen geschuldet. Die Vorinstanz liess diese Risikospezialzinsen von Fr. 1.6 Mio. bei der Gesamtschuld, die sie der Zinsberechnung zugrunde legte, beiseite. Sie würdigte die Abrede der Parteien, wonach die Risikospezialzinsen zum Kreditkapital zu schlagen und ab sofort zu verzinsen seien, als Verstoss gegen die Bestimmung von <ref-law>. Sie bejahte zwar, dass von einem kaufmännischen Verkehr auszugehen sei, verneinte aber die übrigen Voraussetzungen für eine Zulässigkeit von Zinseszinsen. Sie befand, die beklagtische Behauptung, es liege ein Kontokorrentverhältnis vor, sei erst im Berufungsverfahren und damit verspätet vorgetragen und zudem auch nicht substanziiert worden.
Die Beschwerdeführerin rügt, damit habe die Vorinstanz eine offensichtlich unrichtige Sachverhaltsfeststellung getroffen und Bundesrecht (<ref-law>) verletzt.
4.2. Die vorherige Übereinkunft, dass die Zinse zum Kapital geschlagen und mit diesem weiter verzinst werden sollen, ist ungültig unter Vorbehalt von kaufmännischen Zinsberechnungen im Kontokorrent und ähnlichen Geschäftsformen, bei denen die Berechnung von Zinseszinsen üblich ist, wie namentlich bei Sparkassen (<ref-law>).
4.3. Die Beschwerdeführerin bringt vor, das Zinseszinsverbot gelange vorliegend nicht zur Anwendung, weil zwischen den Parteien ein Kontokorrentverhältnis vorgelegen habe. Diese Behauptung betrachtete die Vorinstanz als verspätet und überdies ohnehin als nicht substanziiert. Die Beschwerdeführerin vermag beide Vorwürfe nicht zu widerlegen. Mit ihren Hinweisen auf Ausführungen in der erstinstanzlichen Duplik S. 15 und 17 gelingt es ihr nicht, eine Aktenwidrigkeit aufzuzeigen. An besagter Stelle wird ausgeführt, dem Kläger seien Quartalsabrechnungen zugestellt worden, die er jeweils geprüft und visiert habe. Jedoch geht aus diesen Ausführungen nicht klar hervor, dass die Beschwerdeführerin bereits in der Duplik das Vorliegen eines Kontokorrentverhältnisses in tatsächlicher Hinsicht behauptet und substanziiert hätte. Die Vorinstanz traf mithin keine offensichtlich unrichtige Feststellung, indem sie festhielt, die Beschwerdeführerin erhebe diese Behauptung erstmals im Berufungsverfahren. Auch die mangelnde Substanziierung wird von der Beschwerdeführerin nicht widerlegt. Ist aber davon auszugehen, es habe kein Kontokorrentverhältnis zwischen den Parteien vorgelegen, ist nicht ersichtlich, inwiefern die Vorinstanz <ref-law> verletzt haben könnte.
4.4. Die Beschwerdeführerin rügt ferner, die Vorinstanz habe ebenfalls gegen <ref-law> verstossen, soweit sie den Risikospezialzins in ihren Zinsberechnungen für die Zeit ab 1. Januar 2007 nicht berücksichtigt habe. Sie begründet dies mit der Behauptung, der Risikospezialzins sei am 31. Dezember 2006 zur Zahlung fällig geworden. Der Kläger sei danach in Verzug gewesen. Soweit die Parteien nach dem 31. Dezember 2006 weitere Zahlungsfristen festgelegt hätten, hätten sie neue Vereinbarungen betreffend den im jeweiligen Zeitpunkt noch ausstehenden Forderungsausstand getroffen. Die nachträgliche Vereinbarung, dass der fällig gewordene Zins zum Kapital geschlagen werde und der vertragliche Zins alsdann auf diese Summe zu erstrecken sei, sei unter dem Aspekt von <ref-law> zulässig.
Diese Ausführungen, insbesondere bezüglich des behaupteten Fälligkeitstermins und angeblicher nachträglicher, nach dem 31. Dezember 2006 getroffener Vereinbarungen, stützen sich auf tatsächliche Behauptungen, die im angefochtenen Urteil keine Stütze finden und die daher nicht berücksichtigt werden können, zumal die Beschwerdeführerin die Voraussetzungen für eine Sachverhaltsergänzung nicht aufzeigt. Die Rüge entbehrt daher der tatsächlichen Grundlage (Erwägung 2.2).
5.
Die Vorinstanz qualifizierte die beiden Nachträge vom 14. März 2007 bzw. vom 8. Oktober 2007 zum Kaufsrechtsvertrag vom 5. April 2006, mit denen der Kläger den Kaufsrechtspreis für die Liegenschaft U._ von Fr. 8'160'000.-- um Fr. 900'000.-- auf Fr. 7'260'000.-- bzw. um weitere Fr. 500'000.-- auf Fr. 6'760'000.-- reduziert hatte, als Zinsabreden. Die Beschwerdeführerin möchte demgegenüber die beiden Kaufsrechtspreisreduktionen als Konventionalstrafen verstanden wissen. Die Vorinstanz verwarf diese Sicht, was die Beschwerdeführerin als Verletzung von <ref-law> rügt.
5.1. Unter Zins ist die Vergütung zu verstehen, die ein Gläubiger für die Entbehrung einer ihm geschuldeten Geldsumme fordern kann, sofern diese Vergütung sich nach der Höhe der geschuldeten Summe und der Dauer der Schuld bestimmt (<ref-ruling> E. 3). Eine Zinsschuld liegt somit nur vor, wenn nicht nur eine Geldschuld vorhanden ist, sondern auch die Zeitdauer feststeht, während welcher der Gläubiger das Kapital entbehrt und entsprechend der sich die Vergütung berechnet (<ref-ruling> E. 3 S. 355).
Als Konventionalstrafe nach <ref-law> wird eine Leistung bezeichnet, die der Schuldner dem Gläubiger für den Fall verspricht, dass er eine bestimmte Schuld (Hauptverpflichtung) nicht oder nicht richtig erfüllt. Zweck der Konventionalstrafe ist die Verbesserung der Gläubigerstellung durch Befreiung vom Schadensnachweis (<ref-ruling> E. 2a). Als Konventionalstrafe kann sowohl eine positive Leistung als auch ein Rechtsverlust vereinbart werden, z.B. die Reduktion einer Kaufpreisforderung (<ref-ruling> E. 3).
Der Inhalt eines Vertrags bestimmt sich in erster Linie nach dem übereinstimmenden wirklichen Parteiwillen (vgl. <ref-law>). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und 105 BGG der bundesgerichtlichen Überprüfung entzogen ist. Steht eine tatsächliche Willensübereinstimmung fest, bleibt für eine Auslegung nach dem Vertrauensgrundsatz kein Raum. Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Richters über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (<ref-ruling> E. 4.2.1; <ref-ruling> E. 3.1).
5.2. Die Vorinstanz gelangte in Würdigung der eingereichten Belege und der von den Parteien abgegebenen Erklärungen zum Schluss, dass die Reduktionen des Kaufsrechtspreises ein Entgelt für das Zuwarten der Beschwerdeführerin darstellten. Sie erwog, die Beschwerdeführerin habe in der von ihr redigierten Erklärung (Klagebeilage 39) selbst bestätigt, dass die Reduktionen des Kaufsrechtspreises von den Parteien als Gegenleistung für die Verlängerung des Kredits verstanden worden seien. Die Vorinstanz stellte mithin den übereinstimmenden tatsächlichen Parteiwillen fest, dass die Kaufpreisreduktionen das Entgelt für die zweimal gewährte Verlängerung des Kredits darstellten. Aufgrund dieser Interpretation der einschlägigen Erklärungen qualifizierte sie die Kaufpreisreduktionen als Zinsabrede.
Die von der Beschwerdeführerin vertretene Auffassung, es liege eine Konventionalstrafe vor, verwarf die Vorinstanz mit der Begründung, die Vereinbarung einer Konventionalstrafe verschaffe dem Gläubiger einen bedingten Anspruch auf Leistungen, insofern als die Verpflichtung des Schuldners, die Strafe zu leisten, vom Eintritt der ungewissen Tatsache abhänge, dass er die Hauptleistung schlecht, nicht oder verspätet erbringe. In der vorliegenden Konstellation treffe es gerade nicht zu, dass die Reduktion des Kaufsrechtspreises vom Eintritt einer ungewissen Tatsache, d.h. der Rückzahlung des Kredits, abhängig gewesen sei. Vielmehr habe der Kläger die Preisreduktionen gewährt, und im Gegenzug habe die Beschwerdeführerin ihm den Kredit für eine bestimmte Zeit weiterhin zur Verfügung gestellt. Die Reduktion des Kaufsrechtspreises - so die Vorinstanz - sei demnach nicht von der ungewissen Tatsache abhängig gewesen, ob der Kläger den Kredit zurückbezahle. Im Übrigen ergäben sich aus den von den Parteien eingereichten Belegen keine Hinweise dafür, dass die Parteien mit den Reduktionen eine Konventionalstrafe hätten vereinbaren wollen.
5.3. Was die Beschwerdeführerin gegen diese Erwägungen der Vorinstanz vorbringt, erheischt keine abweichende Beurteilung:
Sie stellt der vorinstanzlichen Interpretation der einschlägigen Erklärungen der Parteien lediglich ihre eigene Sicht entgegen und rügt einen Verstoss gegen <ref-law>. Dabei bezieht sie sich auf einzelne Ausführungen in ihrer Klageantwort und ihrer Duplik und behauptet, es sei der Beschwerdeführerin "belegtermassen niemals darum gegangen, für die weitere Entbehrung einer Geldsumme eine Entschädigung zu erhalten". Mit ihren appellatorischen Ausführungen zeigt sie nicht ansatzweise auf, inwiefern die tatsächliche Feststellung der Vorinstanz, wonach die Kaufpreisreduktionen nach dem übereinstimmenden Willen der Parteien das Entgelt für die Verlängerung des Kredits darstellten, willkürlich sein soll. Insbesondere widerlegt sie die vorinstanzliche Würdigung der von ihr redigierten Erklärung gemäss Klagebeilage 39 mit nichts.
Weiter beanstandet die Beschwerdeführerin die vorinstanzliche Feststellung, es treffe nicht zu, dass die Leistung der Strafe bzw. die Reduktion des Kaufsrechtspreises vom Eintritt einer ungewissen Tatsache, d.h. der Rückzahlung des Kredits, abhängig gewesen sei. Ihr Vorwurf einer unrichtigen Sachverhaltsfeststellung ist aber bereits ungenügend begründet. Sie behauptet, gemäss den getroffenen Abreden sollte die Kaufpreisreduktion nur dann eintreten, wenn der Kläger seiner Pflicht, die Liegenschaft U._ zu verkaufen, nicht zeitgerecht nachgekommen sein würde. Die Reduktion des Kaufpreises sei demnach vom Eintritt einer ungewissen Tatsache, nämlich dem fristgerechten Verkauf der Liegenschaft durch den Kläger, abhängig gewesen. Mit diesen blossen Behauptungen und der eigenen Interpretation der Parteiabreden verfehlt sie die Begründungsanforderungen an eine Sachverhaltsrüge (vgl. Erwägung 2.2). Darauf kann nicht abgestellt werden.
Auf der Grundlage des verbindlich festgestellten Sachverhalts der Vorinstanz ist deren Folgerung, dass die Kaufpreisreduktionen als Zinsabrede und nicht als Konventionalstrafe zu qualifizieren sind, nicht zu beanstanden.
6.
Weiter prüfte die Vorinstanz, ob bezüglich der Zinsabreden eine Sittenwidrigkeit im Sinne von <ref-law> vorliegt. Dies bejahte sie zusammengefasst, soweit der Zins über 18 % betrug, und verurteilte die Beschwerdeführerin in diesem Umfang wegen Teilnichtigkeit der Zinsvereinbarung zur entsprechenden Rückerstattung. Auch dies wird von der Beschwerdeführerin in verschiedener Hinsicht angefochten.
6.1. Zunächst nahm die Vorinstanz für die drei betroffenen Zeiträume je die Zinsberechnung vor: Für die Zeit von April bis Dezember 2006 errechnete sie einen Zins von 18.18 %. Für den zweiten Zeitabschnitt für die Monate Januar und Februar 2007 ergab sich ein Zins von 42.88 %, und für den dritten Zeitraum von Oktober 2007 bis Januar 2008 schliesslich ein Zins von 18.85 %.
6.2. Die Beschwerdeführerin rügt in diesem Zusammenhang eine unrichtige und "eindeutig" aktenwidrige Feststellung der Vorinstanz. Sie wendet sich gegen die folgende Erwägung betreffend den zweiten Zeitabschnitt: "Im Berufungsverfahren von keiner Seite bestritten wurde die vorinstanzliche Feststellung der massgeblichen Laufzeit von Anfang Januar bis Ende Februar 2007."
Dabei bezog sich die Vorinstanz auf die Berufungsantwort der Beschwerdeführerin. In der zitierten Passage wurden (unter anderem) die Ausführungen des Klägers in Ziffer 1.4.3.2 seiner Berufung beantwortet, wonach das Bezirksgericht zutreffend davon ausgegangen sei, dass die Beschwerdeführerin bei der Reduktion des Kaufpreises um Fr. 900'000.-- eine Gegenleistung dafür gesehen habe, dass sie mit der Rückführung ihres finanziellen Engagements bis Ende Februar 2007, d.h. für weitere zwei Monate, zuwarten würde. Dabei bestritt die Beschwerdeführerin die angenommene Laufzeit von zwei Monaten mit keinem Wort. Auch auf den Seiten 22 f., auf welche die Beschwerdeführerin auf S. 16 der Berufungsantwort verwies, findet sich keine Bestreitung besagter Laufzeit.
Erst auf S. 37 der Anschlussberufung brachte die Beschwerdeführerin unter Hinweis auf ein Schreiben vom 16. März 2007 vor, dass sie dem Kläger die Verkaufsfrist bis 10. April 2007, d.h. seit Dezember 2006 um gesamthaft 3 1/2 Monate, erstreckt habe. Indessen ist nicht dargetan, dass diese im Berufungsverfahren vorgetragene Behauptung novenrechtlich zulässig war. Ohnehin kann der Vorinstanz keine geradezu offensichtlich unrichtige Feststellung bzw. - wie moniert - Rechtsverweigerung vorgeworfen werden, wenn sie dennoch bezüglich der ersten Kaufpreisreduktion von einer Laufzeit von zwei Monaten ausging, nachdem die Beschwerdeführerin an der einschlägigen Stelle ihrer Berufungsantwort, wo sie konkret zum angesprochenen Thema Stellung nahm, bezüglich der Laufzeit keine Bestreitung angebracht und sich nicht auf eine angebliche Fristerstreckung berufen hatte.
Schliesslich kann in den beschwerdeführerischen Darlegungen "der Vollständigkeit halber" unter Ziffer 4 S. 23 der Beschwerde keine hinreichend begründete Sachverhaltsrüge erblickt werden, so dass darauf nicht näher einzugehen ist. Hierzu ist lediglich festzuhalten, dass die Beschwerdeführerin an der entsprechenden Stelle ihrer Berufungsantwort die vom Bezirksgericht betreffend die zweite Kaufpreisreduktion angenommene und vom Kläger unter Ziffer 1.4.3.3 seiner Berufung akzeptierte Laufzeit von vier Monaten (Oktober 2007 bis Ende Januar 2008) nicht bestritten hat. Die diesbezügliche Feststellung der Vorinstanz ist daher nicht aktenwidrig.
Die Rüge unrichtiger Sachverhaltsfeststellung erweist sich als unbegründet, soweit darauf einzutreten ist. Somit ist von den Zinsberechnungen der Vorinstanz auszugehen.
6.3. Die Beschwerdeführerin rügt die Verletzung von <ref-law>. Sie meint, jedenfalls für den ersten und dritten Zeitabschnitt könne angesichts der ausserordentlichen Umstände (ansonsten nicht finanzierbares Kreditbedürfnis mit den entsprechenden Risiken) für ein Darlehen im kaufmännischen Verkehr keine Sittenwidrigkeit angenommen werden.
6.3.1. Nach <ref-law> ist ein Vertrag nichtig, der einen unmöglichen oder widerrechtlichen Inhalt hat oder gegen die guten Sitten verstösst. Sittenwidrig sind Verträge, die gegen die herrschende Moral, d.h. gegen das allgemeine Anstandsgefühl oder gegen die der Gesamtrechtsordnung immanenten ethischen Prinzipien und Wertmassstäbe verstossen (<ref-ruling> E. 4.1 S. 458; <ref-ruling> E. 5.3; <ref-ruling> E. 2 S. 102; <ref-ruling> E. 4a).
Die Sittenwidrigkeit eines Vertrags betrifft eine Rechtsfrage. Ob sie vorliegt, ist von Amtes wegen zu beachten (vgl. <ref-ruling> E. 2b). Die Partei, die sich auf die Sittenwidrigkeit des Vertrags beruft, muss jedoch nach der Verhandlungsmaxime die tatsächlichen Grundlagen, aus denen sich die Sittenwidrigkeit ergeben soll, prozessrechtskonform dartun (Urteil 4A_3/2014 vom 9. April 2014 E. 3.1).
6.3.2. Die gesetzlichen Zinsfussanordnungen sind dispositiver Natur. Die Parteien können die Höhe des Zinses grundsätzlich frei vereinbaren (vgl. <ref-law>). Allerdings sind der Privatautonomie Schranken gesetzt: So bleiben einschränkende Zinsfussbestimmungen des öffentlichen Rechts vorbehalten (<ref-law>). Sodann hat der Bundeszivilgesetzgeber den Bezug von Zinseszinsen beim Darlehen eingeschränkt (vgl. Erwägung 4.2). Ferner können Parteivereinbarungen am Verbot der Sittenwidrigkeit (<ref-law>) oder am Übervorteilungstatbestand (<ref-law>) scheitern (siehe Leu, in: Basler Kommentar, Obligationenrecht I, 5. Aufl. 2011, N. 4 zu <ref-law>; Weber, Berner Kommentar, 2. Aufl. 2005, N. 133 zu <ref-law>).
Eine Vorschrift, die einen höchstens zulässigen Zinssatz vorsieht, findet sich in Art. 14 des Bundesgesetzes vom 23. März 2001 über den Konsumkredit (KKG; SR 221.214.1). Der vom Bundesrat festzulegende Höchstzinssatz soll in der Regel 15 Prozent nicht überschreiten. Dieser Erlass ist indessen vorliegend nicht anwendbar (vgl. Art. 7 Abs. 1 lit. a und e KKG). Dasselbe gilt für das interkantonale Konkordat über Massnahmen zur Bekämpfung von Missbräuchen im Zinswesen vom 8. Oktober 1957. Indessen darf dieses, auch wenn der entsprechende Kanton nicht beigetreten ist, zum Vergleich herangezogen werden. So beurteilte das Bundesgericht die Vereinbarung eines Zinses von 26 % als aussergewöhnlich und ganz krass der allgemeinen Übung und den herkömmlichen Anschauungen über einen angemessenen Zins widersprechend (vgl. <ref-ruling> E. b).
6.3.3. Ausgehend von diesen Grundsätzen erachtete die Vorinstanz den Zins von 42.88 % für die Monate Januar und Februar 2007 klarerweise als sittenwidrig. Sie befand aber auch den Zins für die beiden anderen Zeitabschnitte, soweit er über 18 % hinausging, als sittenwidrig. Dabei ging sie entgegen der Kritik der Beschwerdeführerin nicht einfach strikt und unbesehen der Umstände des Einzelfalles von einem zulässigen Höchstzinssatz von 18 % aus. Sie hielt zwar in Berücksichtigung des im erwähnten Konkordat festgehaltenen Höchstzinssatzes von 18 % als Richtwert fest, darüber liegende Zinsen seien nach allgemeiner Anschauung generell als aussergewöhnlich hoch zu beurteilen, auch wenn es sich um einen Kredit im kaufmännischen Verkehr handle. Sie blieb aber bei dieser - durchaus vertretbaren - Prämisse nicht stehen, sondern berücksichtigte vielmehr die besonderen Umstände des Einzelfalles, dass nämlich die Beschwerdeführerin mit der Zwischenfinanzierung des Klägers grundsätzlich ein nicht unerhebliches Verlustrisiko eingegangen sei, wobei sich dieses Verlustrisiko wiederum insofern bis zu einem gewissen Mass relativiere, als sich die Beschwerdeführerin verschiedene (Immobiliar-) Sicherheiten habe einräumen lassen, namentlich das Kaufsrecht an der Liegenschaft U._ sowie Sicherungsübereignungen von diversen Schuldbriefen.
Die Beschwerdeführerin verweist auf besondere Umstände des vorliegenden Falles, aus denen sich die Zulässigkeit der Zinsvereinbarung ergebe und mit denen sich die Vorinstanz nicht auseinandergesetzt habe. Mit dem Geschäft sei einem stark verschuldeten gewerbsmässigen Liegenschaftenhändler die Möglichkeit eingeräumt worden, seine vor der Verwertung stehenden Liegenschaften freihändig zu einem vorteilhafteren Preis zu verkaufen. Die Grundpfanddeckung sei offensichtlich ungenügend gewesen, ansonsten die Bank E._ AG kaum zu einem entsprechenden Forderungsverkauf bereit gewesen wäre. Zudem habe sich der Kläger wiederholt vertrags- und sittenwidrig verhalten. Der Zinssatz habe sich vor allem deshalb ergeben, weil der Kläger die Liegenschaft nicht - wie mehrfach versprochen - veräussert habe.
Der Beschwerdeführerin ist beizupflichten, dass hier kein alltägliches Kreditgeschäft vorliegt. Relevant für die Frage, welche Zinshöhe noch als den herkömmlichen Anschauungen angemessen betrachtet werden kann, ist vor allem das Verlustrisiko, das mit der Kreditgewährung verbunden war. Dass dieses vorliegend nicht unerheblich war, hat die Vorinstanz durchaus berücksichtigt. Sie durfte andererseits aber auch in die Waagschale werfen, dass sich die Beschwerdeführerin verschiedene Sicherheiten hatte geben lassen, selbst wenn diese nicht hinreichend gewesen sein sollten. Die Beschwerdeführerin vermag darüber hinaus keine entscheiderheblichen besonderen Umstände zu nennen, die einen Zins von über 18 % zu rechtfertigen vermöchten. Namentlich ist nicht ersichtlich, inwiefern das angebliche (spätere) vertragswidrige Verhalten des Klägers bezüglich der Angemessenheit der Zinshöhe relevant sein soll. Der vertragliche Darlehenszins stellt nicht Schadenersatz für vertragswidriges Verhalten dar, sondern Entgelt für das Zurverfügungstellen einer bestimmten Geldsumme (vgl. Erwägung 5).
Die Vorinstanz hat auch nicht übersehen, dass die Überschreitung der Grenze von 18 % für den ersten (18.18 %) und dritten (18.85 %) Zeitabschnitt lediglich minim ist. Es ist aber nicht bundesrechtswidrig, sondern vielmehr kohärent, wenn sie für alle drei hier betroffenen Zeiträume einheitlich von einer Höchstlimite von 18 % ausging und den darüber hinausgehenden Zinssatz wegen Sittenwidrigkeit als sittenwidrig beurteilte, zumal die Beschwerdeführerin keine Umstände dartut, die einen unterschiedlichen Wert je nach Zeitabschnitt rechtfertigen würden.
Zusammenfassend ist es bundesrechtlich nicht zu beanstanden, dass die Vorinstanz die Zinse für alle drei Zeitperioden wegen Sittenwidrigkeit als in dem Umfang teilnichtig erklärte, in dem sie den Zinssatz von 18 % überstiegen.
7.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 8'500.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 9'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. April 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz