Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) und B._ schlossen am 11. Juni 2007 einen Aktienkaufvertrag ab. Darin verpflichtete sich A._, 84'894 "Quotas" der brasilianischen Gesellschaft D._ Ltda. zu einem Preis von insgesamt R$ 84'894.-- rückwirkend per 1. Januar 2002 B._ zu übertragen. In Ziffer 7 heisst es:
The parties elect the Court of São Paulo to solve any issues arising from this agreement.
Mit Treuhandvertrag vom gleichen Datum hielten die Parteien fest, dass die mit dem Aktienkaufvertrag vereinbarte Übertragung treuhänderisch erfolge (mit A._ als Treugeber und B._ als Treuhänder). Ziffer 3 des Treuhandvertrags lautet wie folgt:
Der TREUHÄNDER verpflichtet sich
a) den TREUGEBER über das weitere Verfahren in Brasilien laufend zu unterrichten und
b) die von der GESELLSCHAFT ausgeschütteten Guthaben abzüglich der bestehenden Verbindlichkeiten der Gesellschafter in Deutschland anteilig an den TREUGEBER auszuzahlen.
Nach Auffassung von A._ wurden diese Vereinbarungen vor dem Hintergrund eines brasilianischen Enteignungsverfah rens und der damit verbundenen Ausrichtung von Enteignungsentschädigungen getroffen.
B._ verstarb am 30. März 2014.
B.
Am 25. April 2018 reichte A._ beim Bezirksgericht Höfe eine Klage gegen die Erbengemeinschaft B._ sel., bestehend aus C._, (Beklagte, Beschwerdegeg nerin) ein. Er stützte sich darin auf das Treuhandverhältnis und verlangte, über das weitere Verfahren in Brasilien unterrichtet zu werden, ferner die Auszahlung von ausgeschütteten Guthaben und erzielten Erlösen sowie die rückwirkende Übertragung der 84'894 "Quotas" in sein Alleineigentum. Die Beklagte vertrat (unter anderem) den Standpunkt, aufgrund der Gerichtsstandsklausel in Ziffer 7 des Aktienkaufvertrags seien brasilianische Gerichte zur Beurteilung der Klage zuständig.
Mit Verfügung vom 24. Januar 2019 trat der Vizegerichtspräsident des Bezirksgerichts auf die Klage mangels örtlicher Zuständigkeit nicht ein.
Dagegen gelangte A._ mit Berufung an das Kantonsgericht Schwyz. Dieses wies die Berufung mit Urteil vom 14. Januar 2020 ab, soweit es darauf eintrat.
C.
A._ verlangt mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts sei aufzuheben und es sei die örtliche Zuständigkeit des Bezirksgerichts Höfe festzustellen. Ausserdem sei das Verfah ren zur materiellen Beurteilung an das Bezirksgericht zurückzuweisen. Eventualiter sei das Urteil aufzuheben und die Angelegenheit zur Neubeurteilung an das Kantonsgericht, subeventuell an das Bezirksgericht, zurückzuweisen.
Das Kantonsgericht verzichtete auf Vernehmlassung. Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Im Eventualbegehren ersucht sie um Rückweisung an das Bezirksgericht - in einem Subeventualbegehren um Rückweisung an das Kantonsgericht - zur umfassenden Neubeurteilung.

Erwägungen:
1.
Das angefochtene Urteil des Kantonsgerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Weiter erreicht der Streitwert den nach <ref-law> geltenden Mindestbetrag von Fr. 30'000.--. Auch die vom Beschwerdeführer gestellten Anträge - Aufhebung des angefochtenen Urteils, Entscheid über die örtliche Zuständigkeit, Rückweisung zur Beurteilung in der Sache - genügen den formellen Anforderungen.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
2.3. Der Beschwerdeführer vermischt in seinen Vorbringen - über die ganze Beschwerdeschrift verteilt - Rechts- und Sachverhaltsrügen. So erklärt er an zahlreichen Stellen und ohne weitere Differenzierung, zu welchem Ergebnis die Vorinstanz "bei korrekter Sachverhaltsfeststellung und korrekter Rechtsanwendung" hätte gelangen müssen. Er zeigt aber mit keinem Wort auf, inwiefern das Kantonsgericht die - entscheiderheblichen - Tatsachen willkürlich festgestellt haben soll. Ähnliches gilt hinsichtlich jener Ausführungen, in denen der Beschwerdeführer die vorinstanzliche Vertragsauslegung angreift. Aus seinen Vorbringen wird jeweils nicht klar, ob er das Vorliegen eines (anderen) übereinstimmenden wirklichen Parteiwillens (tatsächlicher Konsens) behauptet oder das Urteil deshalb beanstandet, weil er die Willenserklärungen nach dem Vertrauensprinzip anders ausgelegt haben will (normativer Konsens). Soweit er in verschiedenen Passagen seiner Beschwerdeschrift ausdrücklich auf den tatsächlichen Parteiwillen Bezug nimmt und moniert, dieser sei falsch festgestellt worden, übergeht er, dass er (auch) in diesem Punkt hätte Willkür nachweisen müssen (siehe <ref-ruling> E. 5.2.1 mit Hinweisen). Dies unterlässt er. Auch insoweit ist der Beschwerdeführer nicht zu hören.
3.
Vor Vorinstanz war umstritten, ob die im Aktienkaufvertrag enthaltene Gerichtsstandsklausel auch auf Streitigkeiten aus dem Treuhandvertrag anwendbar ist.
3.1. Die Tragweite einer Gerichtsstandsklausel ist durch Auslegung zu ermitteln (Urteil 4A_433/2019 vom 14. April 2020 E. 4.2.5). Das Kantonsgericht untersuchte zunächst (und zu Recht), nach welchem Recht diese Auslegung zu erfolgen hat.
3.1.1. Es hielt in einem ersten Schritt fest, dass ein internationaler Sachverhalt vorliege. Dies ergebe sich bereits daraus, dass die Vertragsparteien ein brasilianisches Gericht prorogiert hätten. Ausserdem beträfen der Treuhand- und der Aktienkaufvertrag Anteile an einer brasilianischen Gesellschaft und habe sich B._ darin verpflichtet, den Beschwerdeführer über den Gang eines Verfahrens in Brasilien zu unterrichten sowie diesem die von der brasilianischen Gesellschaft ausgeschütteten Guthaben ("abzüglich der bestehenden Verbindlichkeiten der Gesellschafter in Deutschland") anteilig auszuzahlen. Der erforderliche Auslandsbezug sei daher gegeben. Da die Parteien die Zuständigkeit eines LugÜ-Drittstaats vereinbart hätten, komme dabei nicht <ref-law>, sondern <ref-law> zur Anwendung.
3.1.2. Die Antwort auf die Frage, nach welchem Recht eine Gerichtsstandsklausel auszulegen sei, ergebe sich indes - so das Kantonsgericht weiter - nicht (ausdrücklich) aus <ref-law> und sei in der Lehre umstritten. Zur Diskussion stünden insbesondere eine Auslegung nach der schweizerischen Lex fori oder nach dem Recht, das auf den Hauptvertrag anwendbar sei (Lex causae). Die Vorinstanz nahm zu diesem Problem in der Folge nicht abschliessend Stellung, sondern erwog, dass die eingeklagten Ansprüche in beiden Varianten von der in Ziffer 7 des Aktienkaufvertrags vereinbarten Gerichtsstandsklausel erfasst seien:
In Anwendung schweizerischer Vertragsauslegungsgrundsätze hielt das Kantonsgericht fest, dass nach dem tatsächlichen Parteiwillen eine "enge Beziehung bzw. Verflechtung" zwischen dem Aktienkauf- und dem Treuhandvertrag bestanden habe. Jedenfalls - und in diesem Punkt bezog sich die Vorinstanz auf das Vertrauensprinzip - habe die Gerichtsstandsvereinbarung insbesondere mit Blick auf den Wortlaut, die anderen Vertragsbestimmungen sowie den von den Vertragsparteien verfolgten Zweck dahingehend verstanden werden dürfen und müssen, dass sie auf beide Verträge Anwendung finde. Unter anderem wies das Kantonsgericht darauf hin, dass der Treuhandvertrag direkt an die - im Aktienkaufvertrag vereinbarte - Übertragung der Aktien anknüpfe. Die beiden Verträge hingen sachlich eng voneinander ab, nähmen aufeinander Bezug und seien entsprechend auch am gleichen Tag sowie am gleichen Ort abgeschlossen worden. Ferner sei die Übertragung der Aktien gemäss Ziffer 6 des Aktienkaufvertrags rückwirkend per 1. Januar 2002 vereinbart worden, woraus der Beschwerdeführer eine Rechenschafts- und Ablieferungspflicht ab diesem Zeitpunkt ableite. Er stütze seine Ansprüche damit selbst (auch) auf den Aktienkaufvertrag. Im Übrigen stelle auch der Beschwerdeführer nicht in Abrede, dass die beiden Verträge nur als Einheit ein sinnvolles Ganzes ergäben.
Nichts anderes ergebe sich bei einer Beurteilung nach der Lex causae. Mangels Rechtswahl sei dabei auf das Recht des Staats abzustellen, mit dem der Vertrag am engsten zusammenhänge (<ref-law>). Dies sei vermutungsweise jener Staat, in dem die Partei, welche die charakteristische Leistung erbringen solle, ihren gewöhnlichen Aufenthalt habe, oder in dem sich - bei beruflicher oder gewerblicher Tätigkeit - ihre Niederlassung befinde. Vorliegend habe B._ als Treuhänder die charakteristische Leistung erbracht. Die Parteien seien sich uneins, ob dieser seinen Wohn- und Geschäftssitz in der Schweiz oder in Deutschland gehabt habe. Dies sei aber ohne Belang: Denn entweder sei schweizerisches Recht für die Auslegung der Gerichtsstandsklausel heranzuziehen (dann gelange man wiederum zu vorstehendem Auslegungsergebnis). Oder es sei deutsches Recht anwendbar. Unter Hinweis auf § 157 BGB sowie die deutsche Lehre und Rechtsprechung schloss das Kantonsgericht auch für diesen Fall, dass "der Treuhandvertrag von der Gerichtsstandsvereinbarung erfasst" werde.
3.2. Der Beschwerdeführer rügt eine Verletzung verschiedener Staatsvertrags-, Verfassungs- und Gesetzesbestimmungen sowie die unrichtige Anwendung ausländischer Normen, im Einzelnen wie folgt:
3.2.1. Im Abschnitt "B" seiner Beschwerdeschrift kritisiert er die vorinstanzliche Auslegung der Gerichtsstandsklausel nach schweizerischem Recht und moniert eine Verletzung von Art. 1 und Art. 18 OR sowie von <ref-law>. Er ist insbesondere der Auffassung, der Aktienkauf- und der Treuhandvertrag stellten zwei selbständige, voneinander unabhängige Vereinbarungen dar. Die im Aktienkaufvertrag vereinbarte Gerichtsstandsklausel beziehe sich daher nicht auf die hier streitigen Ansprüche, die er ausschliesslich aus dem Treuhandvertrag ableite.
Wie die Vorinstanz zutreffend ausgeführt hat, ist für die Auslegung von Gerichtsstandsvereinbarungen - wie für diejenige anderer Verträge auch - zunächst massgebend, was die Parteien tatsächlich übereinstimmend gewollt haben. Kann der tatsächliche Wille der erklärenden Partei nicht festgestellt werden, so ist ihre Erklärung nach dem Vertrauensprinzip auszulegen. Die Partei hat danach ihre Erklärung so gelten zu lassen, wie sie von der Adressatin nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen nach Treu und Glauben verstanden werden durfte und musste (<ref-ruling> E. 2.3.2; siehe sodann <ref-ruling> E. 5.2.3, 43 E. 3.3; <ref-ruling> E. 1.2.2; <ref-ruling> E. 4.2.1 S. 666; je mit Hinweisen).
Die Vorinstanz hat diese Grundsätze ihren Überlegungen zugrunde gelegt und dabei insbesondere die enge inhaltliche und wirtschaftliche Abhängigkeit der beiden Verträge zueinander berücksichtigt (siehe auch Urteil 4A_323/2013 vom 29. November 2013 E. 5 und 5.2). Was der Beschwerdeführer dagegen vorbringt, stützt sich weitestgehend auf ein vorinstanzlich nicht festgestelltes Sachverhaltsfundament und auf Behauptungen zum tatsächlichen Parteiwillen, womit er - wie erwähnt (Erwägung 2.3) - nicht zu hören ist. Dies gilt namentlich auch, soweit er - losgelöst von den tatsächlichen Feststellungen des Kantonsgerichts - in den Raum wirft, der Aktienkaufvertrag sei "vorgeschoben[]" oder "gewollt unrichtig" gewesen. Richtig ist zwar, dass sich die Gerichtsstandsklausel im Aktienkaufvertrag ihrem Wortlaut nach scheinbar einzig auf den Aktienkaufvertrag selbst bezieht ("to solve any issues arising from this agreement"; siehe zur Bedeutung des Wortlauts <ref-ruling> E. 5.2 S. 302). Dies allein vermag aber das vorinstanzliche Ergebnis nicht umzustossen, wonach die beiden Verträge nur zusammen ein sinnvolles Ganzes bildeten und daher auch die Gerichtsstandsklausel in einem solchen - weit gedeuteten - Sinn habe verstanden werden dürfen und müssen. Gleiches gilt für das Argument des Beschwerdeführers, es sei "nicht sachgerecht", "den Treuhandvertrag" einem brasilianischen Gerichtsstand zu unterstellen, zumal die Verträge zahlreiche Bezüge zu Brasilien aufweisen und eine brasilianische Gesellschaft Gegenstand beider Vereinbarungen ist.
3.2.2. Unter Buchstabe "C" rügt der Beschwerdeführer eine unrichtige Auslegung nach der Lex causae.
Dabei führt er zunächst einlässlich aus, weshalb in diesem Zusammenhang schweizerisches - statt deutsches - Recht hätte angewandt werden müssen. Wie die Beschwerdegegnerin zutreffend einwendet, erweist sich diese Argumentation als gegenstandslos, führt doch nach dem Gesagten (auch) das Abstellen auf schweizerische Auslegungsregeln zur Anwendbarkeit der Gerichtsstandsklausel auf die vorliegende Streitigkeit.
Sodann legt der Beschwerdeführer - wohl im Sinne eines Eventualstandpunkts - dar, weshalb die Vorinstanz "das deutsche Recht unkorrekt ausgelegt und/oder angewandt" habe. Die Rüge, das nach dem schweizerischen internationalen Privatrecht massgebende ausländische Recht sei nicht richtig angewandt worden, ist nach <ref-law> indes nur zulässig, sofern der Entscheid keine vermögensrechtliche Sache betrifft. Nachdem die eingeklagten Ansprüche unstreitig vermögensrechtlicher Natur sind und der Beschwerdeführer auch in dieser Hinsicht keine Willkür geltend macht (vgl. <ref-ruling> E. 3.1), kann auf seine Kritik, die er an der vorinstanzlichen Anwendung des deutschen Rechts übt, nicht eingetreten werden.
3.2.3. Die Auslegung der Gerichtsstandsklausel nach der Lex causae führt mithin zum gleichen Ergebnis wie eine Interpretation nach der (schweizerischen) Lex fori: Die - jedenfalls teilweise - auf den Treuhandvertrag gestützten (angeblichen) Ansprüche des Beschwerdeführers werden von der Gerichtsstandsvereinbarung erfasst. Damit braucht auf den vorinstanzlich erwähnten Meinungsstreit zur Frage des anwendbaren Rechts nicht eingegangen zu werden (siehe immerhin <ref-ruling> E. 4.1; Urteile 4A_451/2014 vom 28. April 2015 E. 2.1; 4A_345/2014 vom 20. Oktober 2014 E. 3; 4A_149/2013 vom 31. Juli 2013 E. 4; 4C.189/2001 vom 1. Februar 2002 E. 5f/bb; 4C.163/2001 vom 7. August 2001 E. 2b).
Mit Blick darauf, dass die Parteien die Zuständigkeit brasilianischer Gerichte vereinbart haben, hätte allenfalls die Frage aufgeworfen werden können, ob brasilianisches Recht zur Bestimmung der Tragweite der Gerichtsstandsvereinbarung hätte herangezogen werden müssen. Diese Ansicht vertritt etwa MARKUS MÜLLER-CHEN, in: Zürcher Kommentar zum IPRG, Bd. I, 3. Aufl. 2018, N. 15 f. zu <ref-law> (siehe bereits auch MATTHIAS STAEHELIN, Gerichtsstandsvereinbarungen im internationalen Handelsverkehr Europas: Form und Willenseinigung nach Art. 17 EuGVÜ/LugÜ, 1994, S. 182-186). Dazu nimmt der Beschwerdeführer keine Stellung. Er rügt namentlich nicht eine Verletzung von <ref-law> betreffend die Feststellung des ausländischen Rechts und er macht auch nicht geltend, die Anwendung brasilianischer Auslegungsgrundsätze führe zu einem für ihn günstigeren Ergebnis. Es erübrigt sich daher, diese Frage weiter zu untersuchen (siehe Urteil 4A_433/2019 vom 14. April 2020 E. 4.2.5; vgl. sodann Urteil 4A_77/2014 vom 21. Mai 2014 E. 3.1).
3.2.4. Unbehelflich ist schliesslich der Einwand des Beschwerdeführers im Abschnitt "A" seiner Beschwerdeschrift, wonach es an einem hinreichenden Auslandsbezug mangle. Er meint, es bestehe ein Binnensachverhalt, weshalb in Anwendung von <ref-law> i.V.m. <ref-law> oder allenfalls von Art. 5 Nr. 1 lit. b LugÜ die Gerichte am Erfüllungsort zuständig seien.
Dabei übergeht der Beschwerdeführer, dass die von ihm angerufenen Zuständigkeitsbestimmungen - auch unter der Annahme, es liege ein reiner Binnensachverhalt vor - nur zum Zuge kämen, wenn die Gerichtsstandsvereinbarung nicht greifen würde. Denn diese schliesst die Klageerhebung an einem anderen Ort grundsätzlich aus (<ref-law>: nur am vereinbarten Gerichtsstand). Zwar ist bei fehlender Internationalität <ref-law> anwendbar (und nicht <ref-law> oder <ref-law>). Inwiefern dieser Umstand aber im hier zu beurteilenden Fall zu einem anderen Auslegungsergebnis in Bezug auf die Tragweite der Gerichtsstandsklausel führen sollte, tut der Beschwerdeführer nicht dar (und ist im Übrigen auch nicht ersichtlich).
3.3. Die Ausführungen der Vorinstanz, wonach die Gerichtsstandsklausel in Ziffer 7 des Aktienkaufvertrags die massgeblichen Form- beziehungsweise Gültigkeitsvoraussetzungen erfülle, beanstandet der Beschwerdeführer nicht. Nachdem das Kantonsgericht somit zu Recht zum Ergebnis gelangte, die in diesem Verfahren streitigen Ansprüche seien durch ein brasilianisches Gericht zu beurteilen, erübrigen sich Abklärungen zum Erfüllungsort, wie sie der Beschwerdeführer unter Buchstabe "E" seiner Beschwerdeschrift mit Hinweis auf Art. 5 Nr. 1 LugÜ verlangt.
Bereits die Vorinstanz verzichtete aus den gleichen Gründen auf weitere Ausführungen zum Erfüllungsort im Sinne von Art. 5 Nr. 1 LugÜ. Dies stellt - anders, als der Beschwerdeführer meint - keine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>) dar.
4.
Zusammengefasst ist der Vorinstanz keine Rechtsverletzung vorzuwerfen, wenn sie den bezirksgerichtlichen Nichteintretensentscheid schützte. Folglich ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (siehe Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 10'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 12'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 1. Juli 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Stähle