Sachverhalt:
A.
A.a. Im Jahr 2007 wurde die Ehe von A._ und seiner damaligen Ehefrau geschieden. In der Folge hatte er ihr aus seiner beruflichen Vorsorge Fr. 2'247'682.-- zu überweisen. In den Jahren 2007 und 2009 tätigte er Einkäufe von je Fr. 500'000.-- in die 2. Säule. Diese wurden als steuerlich abzugsfähig akzeptiert. In den Jahren 2010 bis 2012 nahm er Einkäufe über Fr. 350'000.--, Fr. 400'000.-- und Fr. 497'682.-- vor. Am 25. Januar 2013 bezog er aus der Pensionskasse der B._ ein Kapital von Fr. 2'768'225.--.
A.b. Mit berichtigender Veranlagungsverfügung vom 15. Juli 2014 veranlagte ihn die kantonale Steuerverwaltung/Verwaltung für die direkte Bundessteuer für die Steuerperiode 2010 bei den kantonalen Steuern mit einem steuerbaren Einkommen von Fr. 1'278'100.-- (satzbestimmend Fr. 1'318'500.--) und einem steuerbaren Vermögen von Fr. 19'086'000.-- und bei der direkten Bundessteuer mit einem steuerbaren (und satzbestimmenden) Einkommen von Fr. 1'323'700.--. Einen Einkauf in der Höhe von Fr. 350'000.-- (gemäss Selbstdeklaration) in die 2. Säule gewährte sie nicht. Zur Begründung führte sie an, der Einkauf in die 2. Säule sei rückwirkend aufgerechnet worden, weil innerhalb der dreijährigen Sperrfrist ein Kapitalbezug erfolgt sei.
A.c. Mit Verfügungen desselben Tages wurden auch die Einkäufe in die 2. Säule für die Steuerperioden 2011 und 2012 in der Höhe von Fr. 400'000.-- resp. Fr. 497'682.-- nicht zum Abzug zugelassen.
B.
Gegen die drei Veranlagungsverfügungen hat A._ Einsprache erhoben. Die Steuerkommission/Verwaltung für die direkte Bundessteuer wies diese mit Einspracheentscheid vom 28. April 2015 ab. Die dagegen erhobene Beschwerde hat das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 3. August 2016 ebenfalls abgewiesen.
C.
Mit Eingabe vom 26. September 2016 erhebt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht und beantragt die Aufhebung des angefochtenen Entscheids. Bei der Festsetzung der Steuern 2010, 2011 und 2012 seien seine Wiedereinkäufe in die Einrichtung der 2. Säule zum Abzug zuzulassen, d.h. das steuerbare und satzbestimmende Einkommen von 2010 sei um Fr. 350'000.--, dasjenige von 2011 um Fr. 400'000.-- und dasjenige von 2012 um Fr. 497'682.-- herabzusetzen. Eventualiter sei der angefochtene Entscheid aufzuheben und die Angelegenheit zur Neuentscheidung im Sinne des vorstehenden Antrags an das Verwaltungsgericht oder die zuständige Veranlagungsbehörde zurückzuweisen.
Die Steuerkommission/Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung - Letztere soweit die direkte Bundessteuer betreffend - beantragen die Abweisung der Beschwerde, das Verwaltungsgericht verzichtet auf eine Vernehmlassung.

Erwägungen:
I. Prozessuales
1.
1.1. Der angefochtene Entscheid betrifft sowohl die direkte Bundessteuer als auch die kantonalen Steuern. Es rechtfertigt sich daher, die Verfahren zu vereinigen (vgl. <ref-law> i.V.m. <ref-law> [SR 273]; <ref-ruling> E. 1.2 S. 465; <ref-ruling> E. 1 S. 60 f.).
1.2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen Endentscheid (<ref-law>) in einer öffentlich-rechtlichen Angelegenheit (<ref-law> i.V.m. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] und Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]) des kantonal letztinstanzlichen Verwaltungsgerichts (<ref-law>). Ein Ausschlussgrund gemäss <ref-law> liegt nicht vor. Der Beschwerdeführer ist durch den angefochtenen Entscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die Beschwerde ist einzutreten.
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280). In Bezug auf die Verletzung von Grundrechten, insbesondere des Willkürverbots, gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>). In der Beschwerde ist klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 2.2 S. 232).
1.4. Das Bundesgericht prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Steuerharmonisierungsgesetz den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2 S. 209 f.; <ref-ruling> E. 3.1 S. 205 f.; Urteil 2C_837/2014 vom 23. Februar 2015 E. 2.2).
1.5. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, soweit sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (Art. 97 und 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-ruling> E. 5.1 S. 356; <ref-ruling> E. 2.5 S. 314).
1.6. In Bezug auf die Beweislast gilt Folgendes: Der Nachweis für steuerbegründende oder steuererhöhende Tatsachen obliegt der Steuerbehörde, der Nachweis für steueraufhebende oder steuermindernde Tatsachen der steuerpflichtigen Person; diese hat die entsprechenden Tatsachen also nicht nur zu behaupten, sondern auch zu belegen (<ref-ruling> E. 3.5 S. 252 mit Hinweisen).
II. Direkte Bundessteuer
2.
2.1. Nach <ref-law> werden die gemäss Gesetz, Statut oder Reglement geleisteten Einlagen, Prämien und Beiträge an die Alters-, Hinterlassenen- und Invalidenversicherung und an Einrichtungen der beruflichen Vorsorge von den Einkünften abgezogen (vgl. auch Art. 81 Abs. 2 BVG). Gemäss Art. 79b Abs. 1 BVG darf die Vorsorgeeinrichtung den Einkauf höchstens bis zur Höhe der reglementarischen Leistungen ermöglichen. Wurden Einkäufe getätigt, so dürfen die daraus resultierenden Leistungen innerhalb der nächsten drei Jahre nicht in Kapitalform aus der Vorsorge zurückgezogen werden (Art. 79b Abs. 3 Satz 1 BVG). Wurden Vorbezüge für die Wohneigentumsförderung getätigt, so dürfen freiwillige Einkäufe erst vorgenommen werden, wenn die Vorbezüge zurückbezahlt sind (Art. 79b Abs. 3 Satz 2 BVG). Von der Begrenzung ausgenommen sind gemäss Art. 79b Abs. 4 BVG die Wiedereinkäufe im Falle der Ehescheidung oder gerichtlichen Auflösung einer eingetragenen Partnerschaft nach Art. 22c FZG (SR 831.42).
2.2. Das Bundesgericht hat sich bereits mit der Abzugsfähigkeit von Beiträgen an die berufliche Vorsorge bei Wiedereinkauf nach einer Scheidung befasst und insbesondere Art. 79b Abs. 3 und 4 BVG ausgelegt. Es erkannte, dass zwar Wortlaut, Systematik und Materialien den Schluss nahelegen, die in Art. 79b Abs. 4 BVG vorgesehene Ausnahme beziehe sich auf die betragsmässige Begrenzung von Art. 79b Abs. 1 BVG (vgl. <ref-ruling> E. 3.3.1-3.3.3 S. 403 ff.). Aus teleologischen Überlegungen gelangte das Bundesgericht allerdings zum Ergebnis, dass sich die in Art. 79b Abs. 4 BVG enthaltene Ausnahme nicht einzig auf die betragsmässige Begrenzung von Abs. 1 beziehen kann, sondern sich auch auf die in Art. 79b Abs. 3 BVG vorgesehene dreijährige Sperrfrist bezieht, mithin im Falle eines Wiedereinkaufs nach Scheidung oder gerichtlicher Auflösung der eingetragenen Partnerschaft ein Bezug der Leistungen in Kapitalform innerhalb von drei Jahren seit Einkauf nicht per se ausgeschlossen ist: Der Einkauf von Beitragsjahren dient zwar in erster Linie der Verbesserung der anwartschaftlichen Leistungen der Vorsorgeeinrichtung, ein Einkauf kann aber auch aus Gründen der Steueroptimierung erfolgen. Um dabei Missbräuche zu vermeiden, sieht das Gesetz die Kapitalbezugssperre vor. Art. 79b BVG verfolgt somit nicht nur vorsorgerechtliche Aspekte, sondern will auch rein steuerlich motivierte Verschiebungen von Geldern in und aus der 2. Säule vermeiden. Zudem ist die ratio legis von Art. 22c FZG zu beachten, der insbesondere den Erhalt des Vorsorgeschutzes der Ehegatten bezweckt. Dem verpflichteten Ehegatten soll es nach einer Scheidung ermöglicht werden, sich nach Aufteilung der Vorsorgeleistung vorsorgemässig wieder gleich zu stellen wie vor der Scheidung. Beim Wiedereinkauf nach einer Scheidung muss folglich die Möglichkeit bestehen, die durch die Aufteilung der Vorsorgeleistung entstandene Lücke wieder zu schliessen. Um diese Gleichstellung zu ermöglichen, erscheint es erforderlich, die Ausnahme von Art. 79b Abs. 4 BVG so zu verstehen, dass Wiedereinkäufe nach einer Scheidung von der dreijährigen Sperrfrist auszunehmen sind, da ansonsten, insbesondere bei Scheidungen kurz vor der Pensionierung, ein Wiedereinkauf mit anschliessendem Kapitalbezug verunmöglicht wird (vgl. <ref-ruling> E. 3.3.4 S. 405 f.).
2.3. Die Vorinstanz ist in ihrer Auslegung im vorliegend angefochtenen Entscheid dagegen zum Schluss gekommen, jeglicher Kapitalbezug innerhalb der Dreijahresfrist erweise sich als missbräuchlich, auch für Wiedereinkäufe im Falle der Ehescheidung sei keine Ausnahme zu machen. Der Beschwerdeführer rügt - insbesondere gestützt auf die bundesgerichtliche Rechtsprechung - die vorinstanzliche Auslegung von Art. 79b BVG. Die Verneinung der Abzugsfähigkeit der von ihm getätigten Wiedereinkäufe stelle einen Verstoss gegen Art. 9 Abs. 2 lit. d StHG dar. Damit einher gehe zudem eine Verletzung des Rechtsgleichheitsgebots (<ref-law>) und des Willkürverbots (<ref-law>).
Die Auslegung der hier relevanten Bestimmungen durch das Bundesgericht ist klar und deutlich. Es ist nicht ersichtlich, und wird auch von keiner Seite vorgebracht, dass oder inwiefern heute, weniger als ein Jahr seit diesem Entscheid (vom 18. Juli 2016), Anlass bestünde, davon abzuweichen. Die Rüge des Beschwerdeführers ist insofern begründet.
2.4. Die Steuerkommission/Verwaltung für die direkte Bundessteuer macht vor Bundesgericht allerdings geltend, dieses habe zwar festgestellt, dass die dreijährige Sperrfrist bei Kapitalbezügen nach scheidungsbedingten Wiedereinkäufen grundsätzlich nicht gelte, es habe jedoch Steuerumgehungen vorbehalten. Im vorliegenden Fall sei die Scheidung (2007) zwar etwas näher zur vorzeitigen Pensionierung (2013) erfolgt als im erwähnten Bundesgerichtsentscheid. Dem Beschwerdeführer hätte es aber ohne Weiteres möglich sein müssen, den gesamten Wiedereinkauf infolge Scheidung in den Steuerperioden 2007 bis 2009 ohne Verletzung der Sperrfrist vorzunehmen. Das sei von diesem vor der Vorinstanz auch nicht bestritten worden. Indem er die Einkäufe erst unmittelbar vor seiner vorzeitigen Pensionierung vorgenommen habe, sei nicht der Vorsorgegedanke, sondern die Steuerersparnis im Vordergrund gestanden. Eine Steuerumgehung sei somit zu bejahen.
Es stellt sich somit die Frage, ob sich die Abzüge im vorliegenden Fall als missbräuchlich erweisen könnten.
2.5. Nach der bundesgerichtlichen Rechtsprechung wird eine Steuerumgehung angenommen, wenn (1.) eine von den Beteiligten gewählte Rechtsgestaltung als ungewöhnlich ("insolite"), sachwidrig oder absonderlich, jedenfalls den wirtschaftlichen Gegebenheiten völlig unangemessen erscheint (sog. objektives Element), (2.) anzunehmen ist, dass die gewählte Rechtsgestaltung missbräuchlich lediglich deshalb getroffen wurde, um Steuern einzusparen, die bei sachgemässer Ordnung der Verhältnisse geschuldet wären (sog. subjektives Element), und (3.) das gewählte Vorgehen tatsächlich zu einer erheblichen Steuerersparnis führen würde, sofern es von den Steuerbehörden hingenommen würde (sog. effektives Element; zur detaillierten Anwendung dieser Kriterien vgl. <ref-ruling> E. 4.1 S. 243 ff. mit Hinweisen). Eine Steuerumgehung kommt nur in ganz ausserordentlichen Situationen in Frage, wenn eine Rechtsgestaltung (objektives Element) vorliegt, die - abgesehen von den steuerlichen Aspekten - jenseits des wirtschaftlich Vernünftigen liegt. Das subjektive Element erweist sich insofern als entscheidend, als die Annahme einer Steuerumgehung ausgeschlossen bleibt, wenn andere als blosse Steuerersparnisgründe bei der Rechtsgestaltung eine relevante Rolle spielen. Wird der Anwendung der Steuerumgehung das rechtsmissbräuchliche Anrufen einer Norm zugrunde gelegt, so kann die zweckwidrige, ohne schützenswertes Interesse erfolgende Rechtsausübung nicht unbeachtet bleiben (vgl. <ref-ruling> E. 4.1 S. 244; Urteile 2C_146/2010 vom 15. August 2012 E. 4.1.4; 2C_836/2009 vom 15. Mai 2012 E. 6.1). Die bundesgerichtliche Rechtsprechung lässt den Abzug nach <ref-law> nicht zu, wenn eine Steuerumgehung vorliegt, mithin missbräuchliche steuerminimierende, zeitlich nahe Einkäufe und Kapitalbezüge in und von Pensionskassen getätigt werden, mit denen nicht die Schliessung von Beitragslücken angestrebt wird, sondern die 2. Säule als steuerbegünstigtes "Kontokorrent" zweckentfremdet wird (<ref-ruling> E. 3.3.4 und 4.2 S. 405 ff.).
2.6. Die Frage einer allfälligen Steuerumgehung wurde im vorinstanzlichen Entscheid nicht behandelt. Sie wurde erst im vorliegenden Verfahren vor Bundesgericht von der kantonalen Steuerkommission/ Verwaltung für die direkte Bundessteuer aufgeworfen. Allerdings sind weder dem angefochtenen Urteil Hinweise zu entnehmen, wonach sich der Beschwerdeführer missbräuchlich verhalten haben sollte, noch werden solche von der - insoweit die Beweislast tragenden (E. 1.6) - Steuerverwaltung vor Bundesgericht konkret vorgebracht. Der Beschwerdeführer hat zeitnah nach der Scheidung (im Jahr 2007) bereits in den Jahren 2007 und 2009 erste Wiedereinkäufe getätigt. Dass er den Einkauf des restlichen Betrags verteilt auf die Jahre 2010 bis 2012 vornahm, kann nicht als ungewöhnlich oder absonderlich bezeichnet werden, zumal es - selbst für gute finanzielle Verhältnisse - um nicht unerhebliche Beträge ging. Hinzu kommt, dass er offenbar unfreiwillig Ende 2012 vorzeitig in den Ruhestand treten musste. Damit liegt auch eine andere Ausgangslage vor als im zitierten Bundesgerichtsentscheid (vgl. <ref-ruling> E. 4.4 S. 410 f.), wo der Steuerpflichtige den Einkauf erst über 14 Jahre nach der Scheidung und lediglich 1 3/4 Jahre vor der Pensionierung und dem geplanten Kapitalbezug tätigte, wobei ihm die Mittel dazu mit einem Darlehen zur Verfügung gestellt wurden. In jenem Fall ergab der Wiedereinkauf weder wirtschaftlich noch vorsorgetechnisch einen Sinn. Angesichts des Vorgehens in seiner Gesamtheit war von einer missbräuchlichen Steuerminimierung auszugehen. Die Anforderungen zur Annahme einer Steuerumgehung sind, wie gesehen (E. 2.5), hoch; eine solche ist nur in ausserordentlichen Situationen anzunehmen. Dass auch im vorliegenden Fall derartige Umstände erfüllt wären, ist nicht ersichtlich. Von einer Steuerumgehung kann daher nicht ausgegangen werden.
2.7. Der vom Beschwerdeführer geltend gemachte Abzug nach <ref-law> ist somit zuzulassen und die Beschwerde betreffend die direkte Bundessteuer 2010 bis 2012 gutzuheissen.
III. Staatssteuer
3.
Die massgeblichen Bestimmungen betreffend den Abzug von Beiträgen an Einrichtungen der beruflichen Vorsorge im Steuerharmonisierungsgesetz (Art. 9 Abs. 2 lit. d StHG) und im kantonalen Steuerrecht (§ 33 Abs. 1 lit. d des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 [StG/SZ; SRSZ 172.200]) stimmen mit der Regelung von <ref-law> überein. Auch sind Art. 79b Abs. 3 und 4 BVG anwendbar auf die kantonalen Steuern (vgl. Urteile 2C_966/2015 / 2C_967/2015 vom 18. Juli 2016 E. 5 m.H., nicht publ. in: <ref-ruling>). Hinsichtlich der Zulässigkeit des Abzugs des scheidungsbedingten Wiedereinkaufs durch den Beschwerdeführer für die kantonalen Steuern kann somit auf die Erwägungen zur direkten Bundessteuer verwiesen werden. Die Beschwerde betreffend die kantonalen Steuern 2010 bis 2012 ist ebenfalls gutzuheissen.
IV. Kosten und Ent schädigung
4.
Bei diesem Verfahrensausgang wird der Kanton Schwyz kostenpflichtig (Art. 66 Abs. 1 und 4 BGG) und hat dem Beschwerdeführer eine angemessene Parteientschädigung für das bundesgerichtliche Verfahren auszurichten (Art. 68 Abs. 1 und 2 BGG). Die Festsetzung der Kosten und Entschädigung für das vorinstanzliche Verfahren wird dem Verwaltungsgericht des Kantons Schwyz übertragen (Art. 67 i.V.m. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_895/2016 und 2C_896/2016 werden vereinigt.
2.
2.1. Die Beschwerde betreffend die direkte Bundessteuer 2010 bis 2012 wird gutgeheissen.
2.2. Die Beschwerde betreffend die kantonalen Steuern 2010 bis 2012 wird gutgeheissen.
2.3. Das Urteil des Verwaltungsgerichts des Kantons Schwyz vom 3. August 2016 wird aufgehoben. Die Sache wird zur Vornahme der neuen Veranlagung an die kantonale Steuerverwaltung/Verwaltung für die direkte Bundessteuer zurückgewiesen.
3.
Die Gerichtskosten von Fr. 7'000.-- werden dem Kanton Schwyz auferlegt.
4.
Der Kanton Schwyz hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
5.
Die Sache wird zur Neuverlegung der Kosten- und Entschädigungsfolgen der kantonalen Rechtsmittelverfahren an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
6.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 14. Juni 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Fuchs