Sachverhalt:
A.
A._ ist in London wohnhaft und wird dort auf der sogenannten Remittance Basis besteuert. Gemäss Bescheinigungen der Freizügigkeitsstiftung der X._ AG (mit Sitz in Einsiedeln bzw. bis 14.5.2010 in Küssnacht und vormals in Schwyz), Basel, vom 29. Mai 2007 wurden ihm Vorsorgeleistungen von Fr. 2'574'167.60 und Fr. 498'345.85 auf ein auf ihn lautendes Konto bei der UBS in Genf ausbezahlt. Auf den Leistungen wurden Quellensteuern von Fr. 123'552.-- bzw. Fr. 23'904.-- erhoben.
Mit Schreiben vom 27. Juni 2008 und 4. Juli 2008 sowie vom 9. Oktober 2008 und 19. Juni 2009 liess A._ bei der Kantonalen Steuerverwaltung Schwyz um Rückerstattung der Quellensteuer ersuchen.
Mit E-Mail vom 24. Juli 2009 teilte die Steuerverwaltung A._ mit, eine Rückerstattung müsse abgelehnt werden, weil die Leistung auf ein Konto bei der UBS in Genf ausbezahlt worden sei. Nach weiteren Schreiben wies die Steuerverwaltung die gestellten Anträge auf Rückerstattung der Quellensteuern am 27. Januar 2012 ab.
B.
Mit Einspracheentscheid vom 12. August 2013 wies die Kantonale Steuerkommission/Verwaltung für die direkte Bundessteuer Schwyz die gegen die Verfügung erhobene Einsprache ab.
Die gegen den Einspracheentscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. Dezember 2013 ab. Zur Begründung wurde im Wesentlichen ausgeführt, es könne nicht Sinn und Zweck von Art. 27 Abs. 1 des Abkommens vom 8. Dezember 1977 zwischen der Schweizerischen Eidgenossenschaft und dem Vereinigten Königreich von Grossbritannien und Nordirland zur Vermeidung der Doppelbesteuerung auf dem Gebiet der Steuern vom Einkommen (DBA-GB; SR 0.672.936.712) sein, dass eine steuerpflichtige Person, die in den Geltungsbereich des DBA-GB falle und in Grossbritannien nach dem Remittance-base-Prinzip besteuert werde, in einem ersten Schritt Einkünfte aus hiesigen Quellen (z.B. auch Lohnzahlungen) auf ein Konto in der Schweiz überweisen lasse und danach Zeitpunkt und Höhe des Betrages, den sie ins Vereinigte Königreich überweisen oder den sie dort beziehen wolle, selber bestimmen könne. Weiter wurde ausgeführt, angesichts eines Saldos von Fr. 17'876.85 per 31. Dezember 2007, wobei während des Jahres (6.6.2007) noch eine Gutschrift seitens eines Dritten in Höhe von Fr. 16'400.-- erfolgt sei, sei davon auszugehen, dass nicht die gesamte Vorsorgeleistung nach Grossbritannien transferiert worden sei. Schliesslich hielt die Vorinstanz fest, die britischen Steuerbehörden hätten nur bestätigt, von den beiden Kapitalleistungen "Kenntnis zu haben". Indessen fehle es an der Bestätigung (ihrer Kenntnis), dass die Fr. 2'574'167.60 und Fr. 498'345.85 auch effektiv nach Grossbritannien transferiert worden seien.
C.
Mit Eingabe vom 24. Februar 2014 erhebt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, der Entscheid des Verwaltungsgerichts vom 20. Dezember 2013 sei aufzuheben und die Steuerverwaltung anzuweisen, ihm die Quellensteuer von Fr. 123'252.-- (gemeint wohl Fr. 123'552.--) und von Fr. 23'904.--, total somit Fr. 147'546.-- (gemeint wohl Fr. 147'456.--) zurückzuerstatten, nebst Zins zu 5% seit 23. Juli 2007. Eventualiter sei die Steuerverwaltung anzuweisen, ihm die Quellensteuer auf dem Betrag von Fr. 2'340'646.81 zurückzuerstatten, welchen er effektiv nach Grossbritannien transferiert habe.
Die Steuerkommission/Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung (ESTV) beantragen die Abweisung der Beschwerde, das Verwaltungsgericht verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gemäss <ref-law> in Verbindung mit <ref-law> (SR 642.11) sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) bzw. § 168 des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG/SZ; SRSZ 172.200) zulässig und der Beschwerdeführer ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist einzutreten (Art. 42 und 100 BGG).
1.2. Das Bundesgericht wendet das (Bundes) Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde vorgebrachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (Motivsubstitution: <ref-ruling> E. 2.2 S. 540; <ref-ruling> E. 3 S. 386; je mit weiteren Hinweisen).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellungen der Vorinstanz von Amtes wegen oder auf entsprechende Rüge hin berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.
2.1. Gemäss <ref-law>, Art. 4 Abs. 2 lit. e StHG sowie § 5 Abs. 2 lit. f. StG/SZ sind natürliche Personen ohne steuerrechtlichen Wohnsitz oder Aufenthalt in der Schweiz aufgrund wirtschaftlicher Zugehörigkeit steuerpflichtig, wenn sie Leistungen aus schweizerischen privatrechtlichen Einrichtungen der beruflichen Vorsorge oder aus anerkannten Formen der gebundenen Selbstvorsorge erhalten. Ist der Empfänger einer privatrechtlichen Vorsorgeleistung im Ausland wohnhaft, so ist die Leistung der Quellenbesteuerung unterstellt (<ref-law>; Art. 35 Abs. 1 StHG und § 98 StG/SZ). Die Quellensteuer wird vom Schuldner der steuerbaren Leistung zurückbehalten und der zuständigen Steuerbehörde abgeliefert (<ref-law>, Art. 37 Abs. 1 StHG und § 101 i.V.m. § 92 StG/SZ).
2.2. Weder das DBG, das StHG noch das StG/SZ sehen eine Rückerstattung der Quellensteuer vor. Hingegen bestimmt die Verordnung des EFD vom 19. Oktober 1993 über die Quellensteuer bei der direkten Bundessteuer (Quellensteuerverordnung, QStV; SR 642.118.2) unter dem Titel "Im Ausland wohnhafte Empfängerinnen und Empfänger von Kapitalleistungen" in Art. 11 Abs. 1, dass Kapitalleistungen gemäss <ref-law> sowie Kapitalleistungen aus öffentlich-rechtlichem Arbeitsverhältnis im Sinne von <ref-law> ungeachtet der staatsvertraglichen Regelung immer der Quellensteuer gemäss Ziff. 3 des Anhangs unterliegen. Nach Art. 11 Abs. 2 QStV wird die erhobene Quellensteuer aber zinslos zurückerstattet, wenn die Empfängerin oder der Empfänger der Kapitalleistung innerhalb von drei Jahren seit deren Fälligkeit einen entsprechenden Antrag stellt (lit. a) und dem Antrag eine Bestätigung der zuständigen Steuerbehörde des anspruchsberechtigten Vertragsstaates beilegt, wonach diese von der Kapitalleistung Kenntnis hat (lit. b). Gemäss § 20 Abs. 1 der Quellensteuerverordnung des Kantons Schwyz vom 13. Februar 2001 (KQStV/SZ; SRSZ 172.311) sind Kapitalleistungen aus Einrichtungen der beruflichen Vorsorge oder aus anerkannten Formen der gebundenen Selbstvorsorge auch dann um die Quellensteuer zu kürzen, wenn sie auf Grund eines Doppelbesteuerungsabkommens im Wohnsitzstaat steuerbar sind. Weist ein Doppelbesteuerungsabkommen das Besteuerungsrecht an einer Kapitalleistung aus einer Einrichtung der beruflichen Vorsorge oder aus einer anerkannten Form der gebundenen Selbstvorsorge dem Wohnsitzstaat zu, wird die Steuer der steuerpflichtigen Person zinslos zurückerstattet, wenn sie innerhalb von drei Jahren seit deren Fälligkeit einen entsprechenden Antrag stellt und dem Antrag eine Bestätigung der zuständigen Steuerbehörde des anspruchsberechtigten Vertragsstaates beilegt, wonach diese von der Kapitalleistung Kenntnis hat; bei verspäteten Gesuchen gilt das Antragsrecht als verwirkt (§ 24 Abs. 2 und 3 KQStV/SZ).
2.3. Strittig ist vorliegend, ob die Rückerstattung der Quellensteuer zu Recht verweigert wurde. Zur Diskussion steht die Rückerstattung von Quellensteuern, die auf Kapitalzahlungen erhoben wurden, welche vor oder am 29. Mai 2007 ausgerichtet worden waren. Das DBA-GB kommt in der zu diesem Zeitpunkt geltenden Fassung zur Anwendung. Die Änderung vom 26. Juni 2007, in Kraft ab 22. Dezember 2008, kann nicht berücksichtigt werden (die nachfolgende Zitierung der Artikel des DBA-GB bezieht sich daher - soweit Änderungen erfolgten - auf diese frühere Fassung).
3.
3.1. Vorliegend hat der Beschwerdeführer das Gesuch um Rückerstattung der Quellensteuern mit Eingaben vom 27. Juni 2008 und 4. Juli 2008 gestellt, somit rechtzeitig innert der Frist von drei Jahren gemäss Art. 11 Abs. 2 QStV und § 24 Abs. 2 KQStV/SZ.
3.2. Er hat zudem zwei Bestätigungen der britischen Steuerbehörden eingereicht, beide datiert mit 23. Juli 2007, wonach diese bestätigen, von den fraglichen Kapitalleistungen Kenntnis zu haben. Auf beiden Bestätigungen ist die Rubrik "davon Fr. ... effektiv nach Grossbritannien oder Irland transferiert (Prinzip der "remittance basis") " / "of which Fr. ... effectively transferred to Great Britain or Irland (principle "remittance basis") " nicht angekreuzt. Die Vorinstanz hielt hierzu fest, dass, selbst wenn der Beschwerdeführer mit Bankbelegen den Nachweis der effektiven Überweisung der Geldbeträge nach Grossbritannien erbracht hätte, daraus nicht abgeleitet werden könne, dass auch die britischen Steuerbehörden nicht nur Kenntnis von der Kapitalleistung, sondern auch vom Transfer der Kapitalleistungen hätten. Für diesen Nachweis sei der Beschwerdeführer beweisbelastet. Da er diesen Nachweis nicht erbracht habe, habe er auch die entsprechenden (Quellensteuer-) Folgen in der Schweiz zu tragen.
3.2.1. Es stellt sich die Frage, ob die Bestätigung der britischen Steuerbehörden, wonach sie Kenntnis von der Kapitalauszahlung haben, als für die Quellensteuerrückerstattung ausreichend zu erachten ist, oder ob es einer ausdrücklichen Bestätigung bedarf, wonach die britischen Steuerbehörden Kenntnis von der Überführung der fraglichen Beträge nach Grossbritannien haben. Die Bedeutung der fraglichen Verordnungsbestimmung ist mittels Auslegung zu ermitteln.
3.2.2. Das Gesetz muss in erster Linie aus sich selbst heraus, das heisst nach dem Wortlaut, Sinn und Zweck und den ihm zugrunde liegenden Wertungen auf der Basis einer teleologischen Verständnismethode ausgelegt werden. Die Gesetzesauslegung hat sich vom Gedanken leiten zu lassen, dass nicht schon der Wortlaut die Norm darstellt, sondern erst das an Sachverhalten verstandene und konkretisierte Gesetz. Gefordert ist die sachlich richtige Entscheidung im normativen Gefüge, ausgerichtet auf ein befriedigendes Ergebnis der ratio legis. Dabei befolgt das Bundesgericht einen pragmatischen Methodenpluralismus und lehnt es namentlich ab, die einzelnen Auslegungselemente einer hierarchischen Ordnung zu unterstellen (<ref-ruling> E. 8.2 S. 28; <ref-ruling> E. 2.2.1 S. 11 mit Hinweisen).
Verordnungsrecht ist gesetzeskonform auszulegen. Es sind die gesetzgeberischen Anordnungen, Wertungen und der in der Delegationsnorm eröffnete Gestaltungsspielraum mit seinen Grenzen zu berücksichtigen. Auch ist den Grundrechten und verfassungsmässigen Grundsätzen Rechnung zu tragen und zwar in dem Sinne, dass - sofern durch den Wortlaut (und die weiteren massgeblichen normunmittelbaren Auslegungselemente) nicht klar ausgeschlossen - der Verordnungsbestimmung jener Rechtssinn beizumessen ist, welcher im Rahmen des Gesetzes mit der Verfassung (am besten) übereinstimmt (verfassungskonforme oder verfassungsbezogene Interpretation; <ref-ruling> E. 4.3 S. 540; <ref-ruling> E. 5.2 S. 376; je mit Hinweisen).
3.2.3. Die Rückerstattung der Quellensteuer ist nicht in einem Gesetz geregelt; einzig die Quellensteuerverordnung sieht sie vor (vgl. E. 2.2). Gemäss Art. 11 Abs. 2 lit. b QStV wird die erhobene Quellensteuer zinslos zurückerstattet, wenn die Empfängerin oder der Empfänger der Kapitalleistung dem Antrag (auf Rückerstattung) eine Bestätigung der zuständigen Steuerbehörde des anspruchsberechtigten Vertragsstaates beilegt, wonach diese von der Kapitalleistung Kenntnis hat. Gleichermassen verlangt der Wortlaut von Art. 24 Abs. 2 KQStV/SZ, dass die steuerpflichtige Person dem Antrag eine Bestätigung der zuständigen Steuerbehörde des anspruchsberechtigten Vertragsstaates beilegt, wonach diese von der Kapitalleistung Kenntnis hat. Der Wortlaut beider Bestimmungen spricht einzig von "Kenntnis der Kapitalleistung". Ob darin auch die Kenntnis über die Überführung der Kapitalleistung in den Vertragsstaat mit eingeschlossen ist, ist dem Wortlaut nicht klar zu entnehmen. In Urteil 2C_436/2011 vom 13. Dezember 2011 hatte das Bundesgericht im Rahmen der Auslegung von Art. 27 Abs. 1 DBA-GB festgestellt, dass Art. 11 QStV eine Bestätigung der Behörde über deren Kenntnis über die Kapitalleistung, nicht aber eine Bestätigung hinsichtlich der Überweisung in den Wohnsitzstaat verlange. Art. 27 Abs. 1 DBA-GB erscheine insofern missverständlich, wenn er gemeinsam mit der Verordnungsbestimmung gelesen werde (Urteil 2C_436/2011 vom 13. Dezember 2011 E. 3.4.2). Weiter setzte sich das Bundesgericht in jenem Fall indes nicht mit der Auslegung von Art. 11 QStV auseinander, da es bereits am Nachweis des Mitteltransfers nach Grossbritannien fehlte.
3.2.4. Art. 27 Abs. 1 DBA-GB enthält eine Sonderregelung für die Einkünfte aus schweizerischer Quelle, welche nach dem DBA im Genuss einer Entlastung von der schweizerischen Steuer stehen, für den Fall, dass eine natürliche Person für diese Einkünfte nach der im Vereinigten Königreich geltenden Gesetzgebung nicht mit dem vollen Betrag, sondern nur mit dem Teilbetrag besteuert wird, der dorthin überwiesen oder dort bezogen wird: Danach findet die nach dem Abkommen in der Schweiz zu gewährende Steuerentlastung nur auf den Teil der Einkünfte Anwendung, die nach dem Vereinigten Königreich überwiesen oder dort bezogen werden. Diese Bestimmung trägt der Besonderheit des britischen Steuerrechts Rechnung. Dieses unterscheidet für natürliche Personen insbesondere zwischen dem Status resident und domiciled. Personen, die in Grossbritannien zwar resident, aber nicht domiciled sind und über ausländisches Einkommen oder Gewinne verfügen, steht ein alternatives Besteuerungssystem zur Verfügung: Für bestimmte Einkommensbestandteile werden sie danach nur dann in Grossbritannien steuerpflichtig, wenn diese entweder ihre Quelle in Grossbritannien haben oder wenn sie dorthin überwiesen werden (sog. "taxation on remittance basis"; vgl. HM Revenue & Customs, Helpsheet 264, Tax year 6 April 2013 to 5 April 2014; HM Revenue & Customs, Guidance Note: Residence, Domicile and the Remittance Basis, Published October 2013; vgl. auch Robert Waldburger, Zur Remittance Clause im DBA-UK, IFF Forum für Steuerrecht 2003 S. 136 ff.; Maja Bauer-Balmelli/Sanna Maas, Aufwandbesteuerung und englisches Konzept des Steuerstatus "Resident but not domiciled" - ein Vergleich, in: Steuerrecht 2007, Best of zsis, S. 333 ff.). Um Nichtbesteuerungen zu vermeiden, wird die Entlastung der schweizerischen Einkünfte von den schweizerischen Steuern auf den nach Grossbritannien überwiesenen Betrag beschränkt (Botschaft vom 11. Januar 1978 über ein Doppelbesteuerungsabkommen mit Grossbritannien, BBl 1978 I 209, insb. 221).
Das Bundesgericht hatte sich, wie gesehen (E. 3.2.3), bereits einmal mit der Anwendung von Art. 27 Abs. 1 DBA-GB im Zusammenhang mit Kapitalleistungen aus Freizügigkeitseinrichtungen befasst. Dabei kam es unter systematischen Gesichtspunkten zum Schluss, dass es sich bei dieser Bestimmung um eine lex specialis handle, welche andere Bestimmungen des Abkommens einschränke, aber auch Art. 11 QStV vorgehe (Urteil 2C_436/2011 vom 13. Dezember 2011 E. 3.4.2). In teleologischer Hinsicht gehe es darum, eine allfällige doppelte Nichtbesteuerung zu vermeiden (Urteil 2C_436/2011 vom 13. Dezember 2011 E. 3.4.3).
3.2.5. Die hier in Frage stehenden Verordnungsbestimmungen sehen vor, dass die Quellensteuer auf Kapitalleistungen von im Ausland wohnhaften Empfängerinnen und Empfängern zurückerstattet werden kann, sofern die Voraussetzungen dazu erfüllt sind. Wie soeben dargelegt, stellt Art. 27 Abs. 1 DBA-GB eine Sondernorm dar, wonach die in der Schweiz zu gewährende Steuerentlastung lediglich auf den Teilbetrag Anwendung findet, der nach dem Vereinigten Königreich überwiesen oder dort bezogen worden ist, und womit den Besonderheiten des britischen Besteuerungssystems Rechnung getragen wird. Als lex specialis und als staatsvertragliche Norm geht sie auch den Verordnungsbestimmungen der QStV und KQStV/SZ vor (bereits E. 3.2.4, mit Verweis auf Urteil des Bundesgerichts). Die zuständigen britischen Behörden müssen Kenntnis von den in Grossbritannien bezogenen oder dorthin überwiesenen Kapitalleistungen haben, damit sie diese nach innerstaatlichem Recht besteuern können. Die Steuerpflicht in Grossbritannien begründend und daher für die Behörden entscheidend sind nicht im Ausland erfolgte Auszahlungen von Kapitalleistungen, sondern deren Überführung in das Vereinigte Königreich. Es wäre demnach nicht zweckmässig, einzig auf den wenig präzisen Wortlaut der QStV resp. KQStV/SZ abzustellen und lediglich die Bestätigung der zuständigen vertragsstaatlichen Steuerbehörden von der Kenntnis der Auszahlung von Kapitalleistungen in der Schweiz verlangen zu wollen. Vielmehr ist nach Sinn und Zweck des Doppelbesteuerungsabkommens zu verlangen, dass eine Bestätigung der zuständigen Steuerbehörde des anspruchsberechtigten Vertragsstaates beigelegt wird, wonach diese von der Kapitalleistung und deren Überführung in ihren Staat Kenntnis hat.
3.2.6. Mit Blick auf das DBA-GB ergibt die Auslegung von Art. 11 Abs. 2 lit. b QStV resp. Art. 24 Abs. 2 KQStV/SZ demnach, dass es einer ausdrücklichen Bestätigung bedarf, wonach die britischen Steuerbehörden Kenntnis von der Überführung der fraglichen Beträge nach Grossbritannien haben. Das vom Beschwerdeführer eingereichte Rückerstattungsformular der ESTV für Quellensteuer auf Kapitalleistungen von Vorsorgeeinrichtungen mit Sitz in der Schweiz enthält in diesem Sinne richtigerweise eine entsprechende Rubrik.
3.3. Im vorliegenden Fall hat der Beschwerdeführer zwar das Rückerstattungsformular ausgefüllt und eingereicht und sich dort von der britischen Steuerbehörde bestätigen lassen, Kenntnis von der Kapitalleistung in der Höhe von Fr. 2'574'167.60 resp. Fr. 498'345.85 zu haben. Das entscheidende Feld "davon Fr. ... effektiv nach Grossbritannien oder Irland transferiert (Prinzip der "remittance basis") " / "of which Fr. ... effectively transferred to Great Britain or Irland (principle "remittance basis") " wurde dabei aber jeweils offen gelassen resp. nicht angekreuzt. Diesen Umstand hatte bereits die Kantonale Steuerkommission in ihrem Einspracheentscheid vom 12. August 2013 gerügt. Es wäre am Beschwerdeführer gelegen, sofern es sich um ein versehentliches Unterlassen gehandelt haben sollte, dies spätestens nach dem Einspracheentscheid darzulegen, die Bestätigungen einzuholen und ein verbessertes Rückerstattungsgesuch nachzureichen.
3.4. Nachdem der Beschwerdeführer den in Art. 11 Abs. 2 lit. b QStV resp. § 24 Abs. 2 KQStV/SZ verlangten Nachweis nicht erbracht hat, ist ihm bereits aus diesem Grunde die Quellensteuer nicht zurückzuerstatten. Bei diesem Ergebnis erübrigt sich eine Auseinandersetzung mit der weiteren Begründung des vorinstanzlichen Entscheides, wonach es aufgrund der Kapitalauszahlung auf ein Bankkonto in der Schweiz auch am - aus schweizerischer Sicht - erforderlichen Konnex zwischen Kapitalauszahlung und Mitteltransfer nach Grossbritannien fehlte. Die Vorinstanz hat die Rückerstattung demnach zu Recht verweigert und die Beschwerde ist abzuweisen.
4.
Entsprechend dem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 19. August 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Fuchs