Sachverhalt:
A.
Am 24. Januar 2018 zahlte die Freizügigkeitsstiftung der UBS AG an A._ infolge Erlebensfalls eine Kapitalleistung von Fr. 544'740.66 aus. Dieser Betrag setzte sich aus der ursprünglichen Einzahlung A._ auf das Konto Nr. 184998 bei der Freizügigkeitsstiftung (Fr. 352'610.40), den Erträgen des von ihm in einem Fonds angelegten Vermögens (Fr. 48'727.33) sowie der auf dem Fondsvermögen eingetretenen Wertvermehrung zusammen. Am 18. März 2018 erliessen die Steuerverwaltung des Kantons Graubünden und das Gemeindesteueramt B._ die definitiven Veranlagungsverfügungen betreffend die Sondersteuer auf Kapitalleistungen aus Vorsorge für die Kantons- und Gemeindesteuern sowie für die direkte Bundessteuer. Dabei wurde die steuerbare Leistung auf (abgerundet) Fr. 544'700.-- festgesetzt.
B.
A._ erhob gegen die Veranlagungsverfügungen Einsprache, mit der er geltend machte, lediglich das ursprüngliche Kapital sowie die daraus erzielten Erträge, d.h. Fr. 401'337.73 (recte Fr. 352'610.-- + Fr. 48'727.33 = Fr 401'337.73), dürften der Besteuerung unterworfen werden. Der Rest sei ausschliesslich Kapitalgewinn, der im Bereich der freien Anlagen steuerfrei sei. Mit Einspracheentscheiden vom 12. April 2019 wies die Kantonale Steuerverwaltung die Einsprache ab. Eine dagegen erhobene Beschwerde von A._ ans Verwaltungsgericht des Kantons Graubünden blieb erfolglos. Am 12. Juli 2019 wies das Verwaltungsgericht, 4. Kammer, die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 30. Juli 2019 beantragt A._, den angefochtenen Entscheid aufzuheben und die Steuerverwaltung des Kantons Graubünden anzuweisen, den steuerpflichtigen Betrag auf Fr. 401'337.73 festzusetzen.
Das Verwaltungsgericht des Kantons Graubünden, 4. Kammer, die Kantonale und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde, ersteres, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Die Vorinstanz hat ein einziges Urteil für die Kantons- und Gemeindesteuern sowie für die direkte Bundessteuer erlassen, was zulässig ist, soweit die zu entscheidenden Rechtsfragen im Bundesrecht und im harmonisierten kantonalen Recht gleich geregelt sind (<ref-ruling> E. 1.3.1 S. 262 f.), wie das hier für die streitige vollumfängliche Steuerbarkeit der von der Freizügigkeitsstiftung ausgerichteten Kapitalleistung der Fall ist (Urteile 2C_248/2015; 2C_249/2015 vom 2. Oktober 2015 E. 7, 2C_325/2014; 2C_326/2014 vom 29. Januar 2015 E. 3.2 und 5, in: StR 70/2015 S. 424, 2C_156/2010 vom 7. Juni 2011 E. 6, in: ASA 81 S. 379 = StR 66/2011 S. 856 E. 6; siehe auch Urteil 2C_1050/2011 vom 3. Mai 2013 E. 2.2). Unter diesen Umständen ist dem Beschwerdeführer nicht vorzuwerfen, nicht zwei getrennte Beschwerden eingereicht zu haben; aus seiner Eingabe geht deutlich hervor, dass sie beide Steuerarten betrifft (<ref-ruling> E. 1.3.2 S. 264; Urteil 2C_611/2018 vom 16. September 2019 E. 1.1).
1.2. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG i.V.m. Art. 146 des Bundesgesetzes über die direkte Bundessteuer vom 14. Dezember 1990 [DBG; SR 642.11] und Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG).
1.3.1. Das Bundesgericht prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Steuerinstanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das StHG den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2.1 S. 465; <ref-ruling> E. 2 S. 210; Urteil 2C_288/2018 vom 1. Februar 2019 E. 1.2.1).
1.3.2. Die Verletzung von verfassungsmässigen Rechten (einschliesslich der Grundrechte) und von rein kantonalem Recht prüft das Bundesgericht in jedem Fall nur, soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungsobliegenheit gemäss <ref-law>; <ref-ruling> E. 1.2.2 S. 286). In der Beschwerde ist daher klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, dass und inwiefern verfassungsmässige Individualrechte verletzt worden sein sollen (<ref-ruling> E. 1.4 S. 5).
I. Direkte Bundessteuer
2.
2.1. Der Beschwerdeführer macht geltend, entgegen der Auffassung der Vorinstanz ergebe sich aus dem Gesetzeswortlaut nicht, dass Kapitalleistungen auch insoweit der Einkommenssteuer unterlägen, als sie aus Wertzuwächsen stammten, die auf den mit dem Vorsorgeguthaben einer Freizügigkeitspolice getätigten Anlagen erzielt worden seien, d.h. aus Kapitalgewinnen. Der Wortlaut von <ref-law> und des textidentischen Art. 23 Abs. 1 des Steuergesetzes für den Kanton Graubünden vom 8. Juni 1986 (StG/GR; BR 720.000) spreche von "allen Einkünften" aus den ausdrücklich genannten drei Säulen der Sozialversicherung. Steuerbar sei nur, was im Gesetz ausdrücklich als steuerbar bezeichnet werde. In den erwähnten Bestimmungen sei absichtlich darauf verzichtet worden, durch Wörter wie "insbesondere", "namentlich" oder ähnliche Ausdrücke den Eindruck zu erwecken, es handle sich um eine für das Steuerrecht untypische exemplarische Auflistung, die in der Praxis 'bei Bedarf' jederzeit und beliebig durch weitere Elemente (sogar um solche, die in der freien Anlage nicht einkommenssteuerpflichtig seien, wie z.B. Kapitalgewinne) ergänzt werden könne.
2.2.
2.2.1. Gemäss <ref-law> kann der Bund die Kantone verpflichten, Einrichtungen der eidgenössischen Alters-, Hinterlassenen- und Invalidenversicherung sowie der beruflichen Vorsorge von der Steuerpflicht zu befreien und den Versicherten und ihren Arbeitgeberinnen und Arbeitgebern auf Beiträgen und anwartschaftlichen Ansprüchen Steuererleichterungen zu gewähren. Diese Bundeskompetenz erfasst nur die steuerliche Behandlung der Träger der beruflichen Vorsorge sowie die steuerliche Abzugsfähigkeit der an eine Vorsorgeeinrichtung entrichteten Beiträge (vgl. dazu Ueli Kieser, St. Galler BV-Kommentar, 3. Aufl., 2014 Art. 111 N 15). Der Bundesgesetzgeber hat indessen im Rahmen seiner Kompetenz zum Erlass von Vorschriften zu einer direkten Bundessteuer (<ref-law>; vgl. wiederum Kieser, a.a.O., Art. 111 N 15) ebenso wie zur einheitlichen Behandlung der Einkünfte aus Vorsorge bei den direkten Steuern der Kantone und Gemeinden bereits in den Art. 80 ff. des Bundesgesetzes vom 2. Juni 1982 über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge (BVG; SR 831.40) neben Regeln betreffend die Steuerbefreiung von Vorsorgeeinrichtungen (Art. 80 BVG) sowie die steuerliche Abzugsfähigkeit der Beiträge (Art. 81 f. BVG) ausdrücklich vorgesehen, dass Leistungen aus Vorsorgeeinrichtungen und Vorsorgeformen nach den Artikeln 80 bis 82 bei den direkten Steuern des Bundes, der Kantone und der Gemeinden in vollem Umfang als Einkommen steuerbar sind (Art. 83 BVG).
2.2.2. <ref-law> und Art. 7 Abs. 1 StHG (sowie die zugehörigen Bestimmungen von <ref-law> und Art. 11 Abs. 3 StHG) konkretisieren (nur) diese generelle Anordnung von Art. 83 BVG, indem sie den Kreis der steuerbaren Vorsorgeleistungen genau umreissen und die Modalitäten der Besteuerung festlegen. Während der Bundesrat in dieser Vorschrift ursprünglich alle Einkünfte sämtlicher drei Säulen aufnehmen wollte, d.h. auch solche aus Leibrenten- und Verpfründungsverträgen, entfernte der Erstrat diese beiden, fügte sie in einem neuen Absatz zusammen mit den Einkünften aus Wohnrechten bzw. Nutzniessungen ein und ordnete die Teilbesteuerung an. Der Zweitrat übernahm diese Lösung, nahm seinerseits aber nebst der beruflichen Vorsorge auch noch die anerkannten Formen der gebundenen Selbstvorsorge auf (vgl. dazu Peter Locher, Kommentar zum DBG, I. Teil, 2. Aufl., 2019, Art. 22 N 3). Damit setzte der Gesetzgeber konsequent das sog. Waadtländer Modell um, gemäss dem der vollen Abzugsfähigkeit der Beiträge/Prämien die volle Steuerbarkeit der Leistungen gegenübersteht. Das Modell der vollständigen Abzugsfähigkeit der Beiträge/Prämien und der vollen Besteuerung der Einkünfte aus der beruflichen Vorsorge ist damit nicht nur bundesrechtlich in Art. 81 ff. BVG verankert (Urteil 2C_880/2008 vom 28. April 2009 E. 5.2), sondern diese Vorschriften bewirken in ihrer Umsetzung durch den Bundesgesetzgeber in DBG und StHG (vgl. dazu nachstehend E. 3) namentlich eine vertikale und horizontale Vereinheitlichen von direkter Bundessteuer sowie der Steuern von Kantonen und Gemeinden, indem diese dazu verpflichtet sind, einerseits Beiträge an die 2. Säule (und im gesetzlich vorgesehenen Rahmen an die Säule 3A) steuerlich zum Abzug zuzulassen, andererseits aber auch sämtliche Vorsorgeleistungen vollumfänglich zu besteuern (vgl. Urteil 2C_1050/2011 vom 3. Mai 2013 E. 2.2; Gladys Laffely Maillard, in: Commentaire romand, LIFD, 2. Aufl. 2017, Art. 22 N 6).
2.2.3. Die Auslegung von <ref-law> durch die Vorinstanz entspricht der dargelegten gesetzgeberischen Konzeption. Ebenso wie grundsätzlich jede Leistung in das System der beruflichen Vorsorge steuerlich abzugsfähig ist, ist jede Auszahlung aus dem System als Einkunft aus Vorsorge im Sinn von <ref-law> bzw. Art. 7 Abs. 1 StHG zu qualifizieren. Entscheidend für die Abzugsfähigkeit der Prämien/ Beiträge ist allein der Eintritt von Mitteln in den Vorsorgekreislauf. Ebenso kommt es für die Steuerbarkeit von Leistungen allein auf den Austritt von Mitteln aus dem Vorsorgekreislauf an. Worauf die Auszahlungen beruhen, d.h. wie sie finanziert sind (Kapitalrückzahlung, Zinsen, Ausschüttung, Kapitalgewinne), spielt für deren Steuerbarkeit als Einkommen keine Rolle.
2.2.4. Die Auffassung des Beschwerdeführers, wonach Vorsorgeleistungen, soweit sie sich Kapitalgewinnen verdanken, steuerfrei sein sollen, widerspricht im Übrigen nicht nur dem dargelegten Waadtländer Modell. Darüber hinaus zöge sie, würde ihr gefolgt, nicht zu rechtfertigende Rechtsungleichheiten nach sich: Gemäss <ref-law> gelten als Einkünfte aus der beruflichen Vorsorge insbesondere Leistungen aus Vorsorgekassen, aus Spar- und Gruppenversicherungen sowie aus Freizügigkeitspolicen. Würden, wie der Beschwerdeführer dies verlangt, Einkünfte aus einer Freizügigkeitsstiftung, soweit sie sich Kapitalgewinnen verdanken, steuerfrei gelassen, blieben alleine solche Vorsorgeleistungen teilweise unbesteuert. Es ist nämlich nicht vorstellbar, andere Einkünfte aus der beruflichen Vorsorge (insbes. reglementarische Einkünfte aus einer Vorsorgeeinrichtung) gleich zu behandeln, da weder gesetzlich vorgesehen ist noch als praktikabel erscheint, bei solchen Einkünften jenen Anteil, der durch Kapitalgewinne finanziert wurde, im Hinblick auf deren Besteuerung "herauszurechnen". Wie dargelegt, hat der Gesetzgeber indessen in <ref-law> ausdrücklich die Gleichbehandlung aller Vorsorgeleistungen - nämlich deren volle Besteuerung - vorgesehen. Gründe für eine Sonderbehandlung von Vorsorgeleistungen aus einer Freizügigkeitsstiftung, welche auf Wertsteigerungen des nach dem Willen des Vorsorgenehmers angelegten Vorsorgeguthabens beruhen, sind nicht erkennbar, so dass sich die vom Beschwerdeführer verfochtene Auslegung von <ref-law> auch deshalb als unzutreffend erweist.
2.3. Die Beschwerde erweist sich damit hinsichtlich der direkten Bundessteuer als unbegründet.
II. Kantonale Steuern
3. Art. 7 Abs. 1 StHG ist wie bereits dargelegt - aufgrund der Anweisung in Art. 83 BVG notwendigerweise - sachlich identisch mit der Regelung in <ref-law>. Der kantonale Gesetzgeber hat denn auch in Art. 23 Abs. 1 StG/GR die Bestimmung von <ref-law> wörtlich übernommen. Es kann daher ohne Weiteres auf das zur direkten Bundessteuer Ausgeführte verwiesen werden. Die Beschwerde ist auf mit Bezug auf die Kantons- und Gemeindesteuern abzuweisen.
4. Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Kosten des Verfahrens (<ref-law>). Es ist keine Parteientschädigung geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer wird abgewiesen.
2.
Die Beschwerde betreffend die Kantons- und Gemeindesteuern wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Graubünden, 4. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 12. Februar 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Klopfenstein