Sachverhalt: A. A._ ist in London wohnhaft und wird dort auf der sogenannten Remittance Basis besteuert. Gemäss Bescheinigungen der Freizügigkeitsstiftung der X._ AG (mit Sitz in Einsiedeln bzw. bis 14.5.2010 in Küssnacht und vormals in Schwyz), Basel, vom 29. Mai 2007 wurden ihm Vorsorgeleistungen von Fr. 2'574'167.60 und Fr. 498'345.85 auf ein auf ihn lautendes Konto bei der UBS in Genf ausbezahlt. Auf den Leistungen wurden Quellensteuern von Fr. 123'552.-- bzw. Fr. 23'904.-- erhoben. Mit Schreiben vom 27. Juni 2008 und 4. Juli 2008 sowie vom 9. Oktober 2008 und 19. Juni 2009 liess A._ bei der Kantonalen Steuerverwaltung Schwyz um Rückerstattung der Quellensteuer ersuchen. Mit E-Mail vom 24. Juli 2009 teilte die Steuerverwaltung A._ mit, eine Rückerstattung müsse abgelehnt werden, weil die Leistung auf ein Konto bei der UBS in Genf ausbezahlt worden sei. Nach weiteren Schreiben wies die Steuerverwaltung die gestellten Anträge auf Rückerstattung der Quellensteuern am 27. Januar 2012 ab. B. Mit Einspracheentscheid vom 12. August 2013 wies die Kantonale Steuerkommission/Verwaltung für die direkte Bundessteuer Schwyz die gegen die Verfügung erhobene Einsprache ab. Die gegen den Einspracheentscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. Dezember 2013 ab. Zur Begründung wurde im Wesentlichen ausgeführt, es könne nicht Sinn und Zweck von Art. 27 Abs. 1 des Abkommens vom 8. Dezember 1977 zwischen der Schweizerischen Eidgenossenschaft und dem Vereinigten Königreich von Grossbritannien und Nordirland zur Vermeidung der Doppelbesteuerung auf dem Gebiet der Steuern vom Einkommen (DBA-GB; SR 0.672.936.712) sein, dass eine steuerpflichtige Person, die in den Geltungsbereich des DBA-GB falle und in Grossbritannien nach dem Remittance-base-Prinzip besteuert werde, in einem ersten Schritt Einkünfte aus hiesigen Quellen (z.B. auch Lohnzahlungen) auf ein Konto in der Schweiz überweisen lasse und danach Zeitpunkt und Höhe des Betrages, den sie ins Vereinigte Königreich überweisen oder den sie dort beziehen wolle, selber bestimmen könne. Weiter wurde ausgeführt, angesichts eines Saldos von Fr. 17'876.85 per 31. Dezember 2007, wobei während des Jahres (6.6.2007) noch eine Gutschrift seitens eines Dritten in Höhe von Fr. 16'400.-- erfolgt sei, sei davon auszugehen, dass nicht die gesamte Vorsorgeleistung nach Grossbritannien transferiert worden sei. Schliesslich hielt die Vorinstanz fest, die britischen Steuerbehörden hätten nur bestätigt, von den beiden Kapitalleistungen "Kenntnis zu haben". Indessen fehle es an der Bestätigung (ihrer Kenntnis), dass die Fr. 2'574'167.60 und Fr. 498'345.85 auch effektiv nach Grossbritannien transferiert worden seien. C. Mit Eingabe vom 24. Februar 2014 erhebt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, der Entscheid des Verwaltungsgerichts vom 20. Dezember 2013 sei aufzuheben und die Steuerverwaltung anzuweisen, ihm die Quellensteuer von Fr. 123'252.-- (gemeint wohl Fr. 123'552.--) und von Fr. 23'904.--, total somit Fr. 147'546.-- (gemeint wohl Fr. 147'456.--) zurückzuerstatten, nebst Zins zu 5% seit 23. Juli 2007. Eventualiter sei die Steuerverwaltung anzuweisen, ihm die Quellensteuer auf dem Betrag von Fr. 2'340'646.81 zurückzuerstatten, welchen er effektiv nach Grossbritannien transferiert habe. Die Steuerkommission/Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung (ESTV) beantragen die Abweisung der Beschwerde, das Verwaltungsgericht verzichtet auf eine Vernehmlassung.