Sachverhalt:
A.
Am 21. März 2018 schlossen B._ als Verkäufer (Kläger, Beschwerdegegner) und A._ als Käufer (Beklagter, Beschwerdeführer) einen Aktienkaufvertrag über 3'500 Namenaktien der C._ AG ab. Vereinbart wurde ein Kaufpreis von Fr. 735'000.--. Der Aktienkaufvertrag enthält zur Kaufpreiszahlung die folgende Klausel:
"4. Kaufpreiszahlung
Der Kaufpreis ist auf das Bankkonto [...] zu überweisen:
- CHF 70'000.00 sind dem Verkäufer per Valuta 5. März 2018 bezahlt worden.
- Die restlichen CHF 665'000.00 sind Zug um Zug gegen Übertragung der Aktien auf das genannte Konto zu bezahlen, spätestens am 31. Mai 2018.[...]"
B.
B.a. Am 21. Dezember 2018 erhob der Kläger beim Bezirksgericht Höfe Klage und beantragte, der Beklagte sei zu verpflichten, dem Kläger Fr. 665'000.-- zzgl. Zins zu bezahlen, und ersuchte um definitive Rechtsöffnung im genannten Betrag. Mit Klageantwort vom 25. März 2019 beantragte der Beklagte, es sei auf die Klage nicht einzutreten, eventualiter sei sie abzuweisen.
Anlässlich der Hauptverhandlung vom 22. Oktober 2019 verzichtete der Kläger auf "Replik". Der Beklagte erhob die Einrede der Verrechnung. Ausserdem kündigte der Beklagte an, in seinem Schlussvortrag die Einrede des nicht erfüllten Vertrags zu erheben. Zur Verrechnungseinrede nahm der Kläger mit Eingabe vom 25. November 2019 Stellung. Am 17. Dezember 2019 reichte der Beklagte eine als "Quadruplik" bezeichnete Eingabe ein. Am 10. September 2020 hielten die Parteien mündliche Schlussvorträge. Der Beklagte erhob in seinem Schlussvortrag die Einrede des nicht erfüllten Vertrags. Er führte dazu aus, der Kläger habe seine Leistung weder erfüllt noch angeboten, denn für die gültige Übertragung der Aktien fehle es nach wie vor an einer schriftlichen Zessionserklärung des Klägers resp. der Kläger habe keine schriftliche Zessionserklärung abgegeben.
Mit Urteil vom 16. September 2020 verpflichtete das Bezirksgericht den Beklagten, dem Kläger Zug um Zug gegen Übergabe von 3'500 Namenaktien der C._ AG Fr. 665'000.-- zu bezahlen. Es erwog dazu im Wesentlichen, der Beklagte dringe mit der Einrede des nicht erfüllten Vertrags zwar durch, was allerdings nicht die Abweisung der Klage, sondern die Verpflichtung zur Leistung des Kaufpreises Zug um Zug gegen Übergabe der Aktien zur Folge habe. Es verpflichtete den Beklagten sodann, dem Kläger auf den Betrag von Fr. 665'000.-- Zins zu 4.5 % seit dem 1. März 2018 bis zum 4. Juli 2018 zu bezahlen. Das definitive Rechtsöffnungsbegehren wies das Bezirksgericht ab.
B.b. Dagegen erhoben beide Parteien Berufung beim Kantonsgericht Schwyz.
Mit Urteil vom 29. März 2021 vereinigte das Kantonsgericht die beiden Berufungsverfahren. In der Sache erwog das Kantonsgericht, im Berufungsverfahren seien Bestand und Quantitativ der klägerischen Forderung von Fr. 665'000.-- unbestritten. Ebenfalls nicht Berufungsgegenstand seien die vom Beklagten einredeweise geltend gemachten Verrechnungsforderungen, welche die Erstinstanz mangels gültiger Zessionen nicht als dem Beklagten zustehend beurteilte. Zu prüfen bleibe nebst der Verzinsung und dem definitiven Rechtsöffnungsbegehren nur noch die vom Beklagten erhobene Einrede des nicht erfüllten Vertrags.
Das Kantonsgericht kam bezüglich Letzterer im Wesentlichen zum Schluss, das Tatsachenfundament der Einrede des nicht erfüllten Vertrags sei vom Beklagten im Schlussvortrag verspätet vorgetragen worden, weshalb der Beklagte mit der Einrede nicht durchdringe. Das Kantonsgericht wies die Berufung des Beklagten ab und hiess diejenige des Klägers teilweise gut. Das Urteil des Bezirksgerichts wurde - soweit hier von Interesse - entsprechend insoweit abgeändert, dass der Beklagte verpflichtet wurde, dem Kläger Fr. 665'000.-- zzgl. Zins zu bezahlen, d.h. ohne dass der Kläger seinerseits verpflichtet wurde, Zug um Zug die Aktien zu übertragen.
C.
Der Beschwerdeführer erhebt dagegen Beschwerde in Zivilsachen an das Bundesgericht. Er beantragt, das Urteil des Kantonsgerichts sei aufzuheben und die klägerischen Rechtsbegehren seien vollumfänglich abzuweisen.
Mit Präsidialverfügung vom 29. Juni 2021 wurde das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen.
Der Beschwerdegegner beantragt, die Beschwerde sei abzuweisen. Der Beschwerdeführer replizierte. Die Vorinstanz verzichtete auf Vernehmlassung.

Erwägungen:
1.
Der angefochtene Entscheid des Kantonsgerichts Schwyz ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Der Streitwert von Fr. 665'000.-- übersteigt den nach <ref-law> geltenden Mindestbetrag von Fr. 30'000.--. Auch die übrigen Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
Die Vorinstanz erwog, der Beschwerdeführer habe in seinem erstinstanzlichen Schlussvortrag ausgeführt, für die gültige Übertragung der Aktien fehle es nach wie vor an einer schriftlichen Zessionserklärung des Beschwerdegegners resp. der Beschwerdegegner habe keine schriftliche Zessionserklärung abgegeben. Damit stelle der Beschwerdeführer Tatsachenbehauptungen auf. Eine Rechtsfrage wäre höchstens, ob es für den Nachweis des Erfüllungsangebotes einer schriftlichen Zessionserklärung bedürfe. Vorliegend seien die Parteien im Anschluss an den ersten Schriftenwechsel zur Hauptverhandlung vorgeladen worden, anlässlich derer der Beschwerdegegner auf Replik verzichtet habe, mit der Folge, dass auch die Duplik entfallen sei. Die beklagte Partei könne nicht damit rechnen, in jedem Fall eine Duplik einreichen zu können. Sie habe daher (im Sinne der Eventualmaxime) das Risiko des klägerischen Verzichts auf die Replik zu tragen, soweit sie ihre Angriffs- und Verteidigungsmittel auf die Duplik aufspare. Somit sei in casu wegen des Verzichts des Beschwerdegegners auf Replik der Aktenschluss bereits zu diesem Zeitpunkt eingetreten. Das wiederum bedeute, dass die Behauptung des Beschwerdeführers im Rahmen des Schlussvortrages in jedem Fall als verspätet anzusehen sei, auch weil der Beschwerdeführer kein Novenrecht nachgewiesen habe. Weil das Tatsachenfundament der Einrede verspätet vorgetragen worden sei, könne sie nicht berücksichtigt werden. Nachdem der Beschwerdeführer mit der Einrede nicht durchdringe, müsse auch nicht mehr geprüft werden, ob der Beschwerdegegner seine Erfüllungsbereitschaft rechtzeitig behauptet und nachgewiesen habe.
4.
Der Beschwerdeführer wendet sich in erster Linie gegen den Befund der Vorinstanz, er habe das Tatsachenfundament der Einrede des nicht erfüllten Vertrags verspätet vorgetragen. Er macht geltend, die Einrede nach <ref-law> unterstehe nicht dem Novenrecht, sondern sei jederzeit zulässig. Die Tatsachen seien auch nicht vom Beschwerdeführer zu behaupten, sondern die blosse Einrede genüge. Es sei am Beschwerdegegner, die Tatsache zu behaupten, dass er seine Pflicht, die Aktien dem Beschwerdeführer anzubieten, erfüllt habe. Entgegen der Vorinstanz trage somit der Beschwerdegegner die Behauptungs- und Beweislast der Erfüllung oder der Erfüllungsbereitschaft. Dieser habe jedoch "den Nachweis einer anerbotenen Leistung Zug um Zug" nicht erbracht. Es sei somit nicht das Tatsachenfundament des Beschwerdeführers, sondern das Tatsachenfundament des Beschwerdegegners, das fehle. Die Vorinstanz habe die Beweislast falsch verteilt, die Einrede des nicht erfüllten Vertrages falsch ausgelegt und damit <ref-law> und <ref-law> verletzt.
5.
5.1. Wer bei einem zweiseitigen Vertrag den anderen zur Erfüllung anhalten will, muss nach <ref-law> entweder bereits erfüllt haben oder die Erfüllung anbieten, es sei denn, dass er nach dem Inhalt oder der Natur des Vertrags erst später zu erfüllen hat.
<ref-law> gewährt dem Schuldner damit eine aufschiebende Einrede mit der Wirkung, dass er die geforderte Leistung bis zur Erbringung oder Anbietung der Gegenleistung zurückhalten darf. Der Gläubiger kann sich begnügen, auf vorbehaltlose Leistung zu klagen. Es obliegt dem Schuldner, die Einrede zu erheben (<ref-ruling> E. 3a; <ref-ruling> E. 2b). Ist die Einrede berechtigt, hat der Gläubiger also die Leistung weder erbracht noch angeboten, so schützt das Gericht die Klage in dem Sinne, dass es den Schuldner zur Leistung Zug um Zug, d.h. zu einer aufschiebend bedingten Verpflichtung verurteilt. Der Kläger braucht die Verurteilung des Beklagten zur Leistung Zug um Zug nicht zu verlangen. Das Gericht erlässt ein dahingehendes Urteil auf Einrede des Beklagten nach <ref-law> (<ref-ruling> E. 3a; <ref-ruling> E. 3). Das Leistungsverweigerungsrecht gemäss <ref-law> ist nicht von Amtes wegen zu berücksichtigen (BGE 76 II 298 E. 3 S. 299; Urteil 4A_533/2013 vom 27. März 2014 E. 6.2).
5.2. Erhebt der Schuldner die Einrede, ist es am Gläubiger zu beweisen, dass er seine eigene Leistung erbracht oder gehörig angeboten hat (BGE <ref-ruling> E. 2b; 79 II 277 E. 2 S. 279; 76 II 298 E. 3 S. 299; Urteile 4A_464/2018 vom 18. April 2019 E. 4.1; 4A_361/2012 vom 30. Oktober 2012 E. 3.3; 4A_68/2010 vom 12. Oktober 2010 E. 3.2.3; 4A_252/2008 vom 28. August 2008 E. 2.2). <ref-law> weicht vom Prinzip ab, wonach den Beweisbelasteten auch die (objektive) Behauptungslast trifft (Urteil 4A_68/2010 vom 12. Oktober 2010 E. 3.2.3). Der Schuldner hat nämlich zu behaupten, dass der Gläubiger die Leistung weder erbracht noch gehörig angeboten hat, und dieser hat anschliessend zu beweisen, dass er seine Leistung erfüllt oder gehörig angeboten hat (FABIENNE HOHL, in: Commentaire romand, Code des obligations I, 3. Aufl. 2021, N. 11 zu <ref-law>).
Hingegen führt <ref-law> zu keiner Umkehr der Beweislast. Die allgemeine Regel von <ref-law> gilt: Es obliegt zunächst dem Gläubiger, der seine Forderung durchsetzen will, die Tatsachen zu behaupten und beweisen, die den Bestand seiner Forderung feststellen lassen. Der Schuldner, welcher die Einrede des nicht erfüllten Vertrags erhebt, hat den Bestand seiner Gegenforderung zu beweisen. Es obliegt anschliessend dem Gläubiger, die Erfüllung oder das gehörige Angebot seiner eigenen Leistung nachzuweisen (Urteil 4A_68/2010 vom 12. Oktober 2010 E. 3.2.3), was auch bedeutet, dass er die Folgen der Beweislosigkeit trägt (HOHL, a.a.O., N. 11 zu <ref-law>).
5.3. Bis zu welchem Zeitpunkt die Einrede des nicht erfüllten Vertrages nach <ref-law> im Verfahren zu erheben ist, bestimmt sich nach den Bestimmungen des Prozessrechtes (BGE 76 II 298 E. 3 S. 299; ROLF H. WEBER, Berner Kommentar, 2. Aufl. 2005, N. 221 zu <ref-law>; MARIUS SCHRANER, in: Zürcher Kommentar, 3. Aufl. 2000, N. 205 zu <ref-law>; HOHL, a.a.O., N. 11 zu <ref-law>), also hier nach der Schweizerischen Zivilprozessordnung.
Nach der Zivilprozessordnung haben die Parteien im ordentlichen Verfahren vor der ersten Instanz zwei Mal Gelegenheit, sich unbeschränkt zur Sache zu äussern und vorbehaltlos neue Tatsachen und Beweismittel in den Prozess einzuführen: Ein erstes Mal im Rahmen des ersten Schriftenwechsels; ein zweites Mal entweder im Rahmen eines zweiten Schriftenwechsels oder - wenn kein solcher durchgeführt wird - an einer Instruktionsverhandlung (<ref-law>) oder "zu Beginn der Hauptverhandlung" (<ref-law>), d.h. vor den ersten Parteivorträgen (<ref-ruling> E. 2.1). In einem kürzlich ergangenen Urteil hat das Bundesgericht bekräftigt, dass "zu Beginn der Hauptverhandlung" nach <ref-law> so zu verstehen ist, dass neue Tatsachen und Beweismittel vor den ersten Parteivorträgen nach <ref-law> ins Verfahren eingebracht werden müssen (Urteil 4A_50/2021 vom 6. September 2021 E. 2.3.3, insb. E. 2.3.3.6, zur Publ. vorgesehen). Danach haben die Parteien nur noch unter den eingeschränkten Voraussetzungen von <ref-law> das Recht, neue Tatsachen und Beweismittel vorzubringen (<ref-ruling> E. 2.3.1).
5.4. Da die Einrede des nicht erfüllten Vertrages nach <ref-law> auf Tatsachenbehauptungen beruht (vgl. Eugen Bucher, Schweizerisches Obligationenrecht - Allgemeiner Teil ohne Deliktsrecht, 2. Aufl. 1988, S. 38), kann sie vom Gericht nur berücksichtigt werden, wenn die Tatsachen, mit denen sie begründet wird, prozesskonform in das Verfahren eingeführt wurden (Miguel Sogo / Georg Naegeli, Kurzkommentar Schweizerische Zivilprozessordnung, 3. Aufl. 2021, N. 11b zu <ref-law>; DANIEL WILLISEGGER, in: Basler Kommentar Schweizerische Zivilprozessordnung, 3. Aufl. 2017, N. 19 zu <ref-law>; zur Verrechnungseinrede: Urteile 4A_69/2014 vom 28. April 2014 E. 3.1; 4A_432/2013 vom 14. Januar 2014 E. 2.2; zur Verjährungseinrede: Urteile 4A_512/2019 vom 12. November 2020 E. 4.1.3; 4A_305/2012 vom 6. Februar 2013 E. 3.3). Konkret sind im erstinstanzlichen Verfahren die Tatsachen, auf denen die Einrede gründet, somit vor Aktenschluss vorzubringen (Erwägung 5.3), oder es müssen die Voraussetzungen nach <ref-law> erfüllt sein.
Weil es - wie nachher gezeigt wird - in casu an rechtzeitigen Tatsachenbehauptungen fehlt, kann die in der Lehre umstrittene Frage offenbleiben, bis zu welchem Zeitpunkt die Einrede als solche im Prozess erhoben werden kann (vgl. CHRISTOPH LEUENBERGER, in: Kommentar zur Schweizerischen Zivilprozessordnung [ZPO], 3. Aufl. 2016, N. 14b zu <ref-law> mit weiteren Hinweisen).
6.
Nach dem Ausgeführten kann der Auffassung des Beschwerdeführers nicht gefolgt werden. Obwohl der Gläubiger für die Erfüllung oder das Angebot der Erfüllung beweis belastet ist, obliegt es vorab dem Schuldner, die fehlende Erfüllung, bzw. die fehlende Erfüllungsbereitschaft zu behaupten. Denn auf diese Behauptungen stützt er seine Einrede. Somit oblag es vorliegend dem beklagten Beschwerdeführer als Schuldner, rechtzeitig das Tatsachenfundament der Einrede des nicht erfüllten Vertrages nach <ref-law> vorzutragen. Dass er rechtzeitig behauptet hätte, der Beschwerdegegner habe nicht erfüllt und die Erfüllung nicht angeboten, macht der Beschwerdeführer nicht geltend.
Solches ist im Übrigen auch nicht ersichtlich: Gemäss den verbindlichen Feststellungen der Vorinstanz zum Prozesssachverhalt, erhob der Beschwerdeführer erst nach Aktenschluss in seinem Schlussvortrag (<ref-law>) die Einrede des nicht erfüllten Vertrags und führte erst dort die der Einrede zugrundeliegenden Tatsachenbehauptungen an. Er führte dort nämlich aus, es fehle für die gültige Übertragung der Aktien nach wie vor an einer schriftlichen Zessionserklärung des Beschwerdegegners bzw. dieser habe eine solche nicht abgegeben. Diese Tatsachenbehauptungen wurden damit erst nach Aktenschluss vorgebracht, woran auch nichts ändert, dass der Beschwerdeführer die "Erhebung der Einrede" bereits vorher "angekündigt" hatte.
Solche neuen Tatsachenbehauptungen nach Aktenschluss sind im erstinstanzlichen Verfahren nur noch unter den strengen Voraussetzungen nach <ref-law> zulässig (oben Erwägung 5.4). Dass es sich bei den vom Beschwerdeführer neu vorgetragenen Tatsachen um zulässige Noven im Sinne <ref-law> handeln würde, macht der Beschwerdeführer nicht geltend und ist auch nicht ersichtlich. Die Vorinstanz befand demnach zu Recht, dass die der Einrede zugrundeliegenden Tatsachenbehauptungen des Beschwerdeführers zu spät vorgebracht wurden.
Nach dem Dargelegten vermag der Beschwerdeführer nicht aufzuzeigen, dass die Vorinstanz Bundesrecht verletzte, als sie zum Schluss kam, dass der Beschwerdeführer mit der Einrede des nicht erfüllten Vertrags nicht durchdringt. Der Beschwerdeführer wurde somit zu Recht dazu verpflichtet, dem Beschwerdegegner Fr. 665'000.-- zuzüglich Zins zu bezahlen, ohne dass der Beschwerdegegner seinerseits verpflichtet wurde, Zug um Zug die Aktien zu übertragen.
7.
Bei diesem Ergebnis verfangen die weiteren Rügen des Beschwerdeführers, die er allesamt auf seine Ansicht einer gültig erhobenen Einrede stützt, von vornherein nicht:
7.1. So beantragt er in Rechtsbegehren Ziff. 1 die vollumfängliche Abweisung der klägerischen Rechtsbegehren. Er begründet dies damit, dass bei gültig erfolgter Einrede des nicht erfüllten Vertrags ausnahmsweise kein Urteil auf Leistung Zug um Zug zu fällen, sondern die Klage abzuweisen sei, wenn der Gläubiger die Nichterbringung seiner Leistung nicht bestreite, was vorliegend der Fall sei.
Wie es sich damit im Einzelnen verhält, braucht nicht beurteilt zu werden, da die Einrede des Beschwerdeführers nicht berücksichtigt werden kann. Das Vorbringen entbehrt somit bereits der notwendigen Grundlage der gültig erhobenen Einrede.
7.2. Weiter geht auch der Einwand fehl, die Vorinstanz übersehe, dass in synallagmatischen Verträgen der Gläubiger die Abweichung von der gesetzlichen Pflicht zur Leistung Zug um Zug zu beweisen habe. Das Gleiche gilt, soweit der Beschwerdeführer beanstandet, der Beschwerdegegner habe "treuwidrig prozessiert", indem er "vorsorglich" eine Klage einreiche, ohne die Erbringung seiner Leistung zu behaupten und die Nichterbringung seiner Leistung zu bestreiten. Der Beschwerdeführer verkennt hier, dass der Beschwerdegegner sich begnügen durfte, auf vorbehaltlose Leistung zu klagen (vgl. Erwägung 5.1).
7.3. Der Beschwerdeführer moniert, dass der Beschwerdegegner die Fälligkeit der eigenen Forderung nicht behauptet habe, weshalb die Klage abzuweisen sei.
Im vorinstanzlichen Sachverhalt ist nicht ersichtlich, dass der Beschwerdeführer dies bereits im kantonalen Verfahren geltend gemacht hätte, und er verlangt auch keine Sachverhaltsergänzung (Erwägung 2.2). Wie der Beschwerdegegner zu Recht erklärt, bringt der Beschwerdeführer diese Behauptung erstmals vor Bundesgericht vor, was unzulässig ist (<ref-law>).
7.4. Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt, "wenn sie davon ausgehen sollte, dass das von beiden Parteien vorgelegte Tatsachenfundament [...] dazu führe, dass die erstellten Tatsachen zum Nachteil des Beklagten ein Genügen der Rechtspflichten des Klägers zur Zession der Aktien ergeben würden". Die Vorinstanz übersehe auch, dass der Beschwerdegegner die Abtretungserklärung in der Berufung verspätet nachgereicht habe. Es sei ein "Trick" des Beschwerdegegners gewesen, wenn der vor der Vorinstanz behaupte, dass er in der erstinstanzlichen Klagebeilage 11 seine Leistung angeboten habe.
Ob der Beschwerdegegner seinen Pflichten bei rechtzeitiger Einrede genügend nachgekommen wäre, ist eine hypothetische Frage, die von der Vorinstanz zu Recht nicht behandelt wurde, da die Einrede nicht zu berücksichtigen war. Inwiefern der Sachverhalt vorinstanzlich willkürlich festgestellt worden sein soll, legt der Beschwerdeführer nicht dar (vgl. Erwägung 2.2).
8.
Die Beschwerde ist nach dem Gesagten abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 und Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 9'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 10'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 30. September 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger