Sachverhalt:
A.
Mit Kaufvertrag vom 13. April 2000 verkaufte A._ 25 eigene Aktien der B._ AG (heute: C._ AG; nachfolgend: "C._") an diese Gesellschaft. Das Aktienkapital der C._ betrug damals Fr. 1'250'000.--, eingeteilt in 250 Namenaktien zu je Fr. 5'000.--. Einziges Mitglied des Verwaltungsrats der C._ war der Bruder von A._, D._.
Anlässlich einer periodischen Kontrolle der Jahresrechnungen stellte die Eidgenössische Steuerverwaltung (ESTV) fest, dass die C._ die von A._ erworbenen 25 eigenen Aktien länger als sechs Jahre in ihrer Jahresrechnung geführt hatte. Am 16. November 2010 teilte die ESTV der C._ deshalb mit, dass mit Ablauf dieser Frist am 13. April 2006 eine Steuerforderung gemäss Art. 12 Abs. 1bis des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG; SR. 642.21) entstanden sei. Diese sei 30 Tage später, also am 13. Mai 2006 fällig geworden. Die C._ habe deshalb Verrechnungssteuer im Betrag von Fr. 404'250.-- (bzw. Fr. 621'923.-- bei fehlender Überwälzung auf den Leistungsempfänger) zu bezahlen. Am 1. Juni 2011 überwies die C._ den Betrag von Fr. 620'000.-- an die ESTV zur Unterbrechung der Zinspflicht und ohne Anerkennung einer Rechtspflicht.
Am 7. November 2012 verfügte die ESTV, dass die C._ Verrechnungssteuer im vorstehend genannten Umfang zuzüglich Verzugszins von 5 % bis zum Tag der Entrichtung der Steuer schulde. Diese Verfügung wurde vom Bundesgericht am 9. Juni 2015 letztinstanzlich geschützt (Urteil 2C_928/2014 vom 9. Juni 2015, in: StR 71/2016 S. 700).
B.
Am 21. August 2015 beantragte D._ im Namen von A._ (nachfolgend: Beschwerdeführer) bei der Kantonalen Steuerverwaltung Thurgau Rückerstattung der Verrechnungssteuer im Betrag von Fr. 404'250.--. Diese wies den Rückerstattungsantrag mit Entscheid vom 8. September 2015 ab. Die dagegen erhobene Einsprache blieb erfolglos, ebenso wie die Beschwerde gegen den Einspracheentscheid, welche die Steuerrekurskommission des Kantons Thurgau mit Entscheid vom 22. März 2017 abwies.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. April 2017 beantragt der Beschwerdeführer Aufhebung des vorinstanzlichen Urteils und Rückerstattung der von der C._ abgelieferten Verrechnungssteuer in Höhe von Fr. 404'250.-- zuzüglich Zinsen.
Die Vorinstanz und die ESTV haben sich vernehmen lassen und beantragen Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht. Angefochten ist ein Urteil der Steuerrekurskommission des Kantons Thurgau, die als kantonale Rekurskommission im Sinne von <ref-law> entschieden hat. Dagegen steht nach <ref-law> in Verbindung mit <ref-law> die Beschwerde beim Bundesgericht offen. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde legitimiert. Auf die Beschwerde ist einzutreten.
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Nach Ablauf der Referendumsfrist am 17. Januar 2019 ist die Änderung des VStG vom 28. September 2018 (AS 2019 433) rückwirkend auf den 1. Januar 2019 in Kraft getreten. Im Rahmen dieser Änderung wurde unter anderem <ref-law> in das Gesetz eingefügt. Die Bestimmung findet nach <ref-law> Anwendung auf Ansprüche, die seit dem 1. Januar 2014 entstanden sind und über die am 1. Januar 2019 noch nicht rechtskräftig entschieden worden war.
2.2. Der Rückerstattungsanspruch entsteht im Zeitpunkt der Entstehung der Steuerforderung (MAJA BAUER-BALMELLI, in: Kommentar zum Schweizerischen Steuerrecht, VStG, 2. Aufl. 2012, N. 6 zu <ref-law>). Vorliegend ist die Verrechnungssteuerforderung am 13. April 2006 entstanden (Urteil 2C_928/2014 vom 9. Juni 2015 E. 7, in: StR 71/2016 S. 700). Es findet somit das alte Recht Anwendung.
3.
3.1. Der Beschwerdeführer macht geltend, dass ihm die Vorinstanz zu Unrecht Fahrlässigkeit vorgeworfen habe und sein Rückerstattungsanspruch folglich entgegen der Auffassung der Vorinstanz nicht nach Art. 23 aVStG verwirkt sei.
3.2. Die Vorinstanz hat die bundesgerichtliche Praxis zu Art. 23 aVStG zutreffend wiedergegeben. Danach verwirkt der Rückerstattungsanspruch, wenn der rückerstattungsberechtigte Steuerpflichtige mit der Verrechnungssteuer belastete Einkünfte nicht in der nächsten Steuererklärung nach Fälligkeit der Leistung deklariert oder die Selbstdeklaration nicht wenigstens so frühzeitig mit korrekten Angaben ergänzt, dass die Einkünfte noch vor der Rechtskraft der Veranlagung berücksichtigt werden können (<ref-ruling> E. 2.b S. 130; Urteile 2C_1083/2014 vom 20. November 2015 E. 2.2; 2C_85/2015 vom 16. September 2015 E. 2.2; 2C_172/2015 vom 27. August 2015 E. 4.1; 2C_949/2014 vom 24. April 2015 E. 3.1; je mit Hinweisen).
3.3. Der Beschwerdeführer hat die steuerbare Leistung nicht vor der Rechtskraft der Veranlagung deklariert. Er macht jedoch geltend, dass er sämtliche zumutbaren Vorsichtsmassnahmen getroffen habe, um eine rechtzeitige Deklaration zu ermöglichen, sodass ihm deren Ausbleiben nicht zum Nachteil gereichen dürfe. Überhaupt sei ihm die Deklaration wegen der Besonderheit des Steuertatbestands von <ref-law> gar nicht möglich gewesen.
3.4. Das Bundesgericht konnte bislang offenlassen, ob die Verwirkung des Rückerstattungsanspruchs nach Art. 23 aVStG überhaupt ein Verschulden seitens des Rückerstattungsberechtigten voraussetzt. In den beurteilten Fällen war den Rückerstattungsberechtigten nämlich stets zumindest leichte Fahrlässigkeit vorzuwerfen (vgl. Urteile 2C_85/2015 vom 16. September 2015 E. 2.5 und 3.4; 2C_172/2015 vom 27. August 2015 E. 4.2, in: RDAF 2015 II S. 495, StR 70/2015 S. 1000; 2C_95/2011 vom 11. Oktober 2011 E. 2.1, in: ASA 81 S. 71, RDAF 2012 II S. 72, StR 66/2011 S. 963; je mit Hinweisen). Fahrlässig handelt, wer die Folge seines Verhaltens aus pflichtwidriger Unvorsichtigkeit nicht bedenkt oder darauf nicht Rücksicht nimmt. Pflichtwidrig ist die Unvorsichtigkeit, wenn jemand die Vorsicht nicht beachtet, zu der er nach den Umständen und nach seinen persönlichen Verhältnissen verpflichtet ist. Unter persönlichen Verhältnissen versteht man etwa die Ausbildung, die intellektuellen Fähigkeiten sowie die berufliche Erfahrung einer Person (<ref-ruling> E. 4.3 S. 91; Urteile 2C_214/2014 vom 7. August 2014 E. 3.7.5, in: StE 2014 B 101.2 Nr. 27; 2C_851/2011 vom 15. August 2012 E. 2.3, in: StR 67/2012 S. 759).
3.5. Der Beschwerdeführer ging mit dem Verkauf der Aktien an die C._ das Risiko ein, dass diese die Aktien nicht innert der Frist von sechs Jahren gemäss <ref-law> verkaufen werden würde und er deshalb im Zeitpunkt des Ablaufs dieser Frist auf der Differenz zwischen Veräusserungserlös und anteiligem Nennwert steuerbaren und deklarationspflichtigen Vermögensertrag erzielen würde (vgl. Art. 20 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11], i.d.F. bis zum 31. Dezember 2010). Wie die Vorinstanz in für das Bundesgericht verbindlicher Weise (<ref-law>; vgl. <ref-ruling> E. 7.4 S. 230) feststellte, war sich der Beschwerdeführer dieses Risikos bewusst. Anders hätte sich nämlich nicht erklären lassen, weshalb er sich von seinem Bruder als einzigem Mitglied des Verwaltungsrats der C._ in der Vereinbarung vom 25./ 26. März 2002 ausdrücklich hatte zusichern lassen, dass dieser die Aktien fristgerecht veräussern werden würde.
3.6. Die Vorinstanz hat zwar nicht in Frage gestellt, dass der Beschwerdeführer Kenntnis des Kaufvertrags zwischen der C._ und der E._ AG vom 28. März 2002 über die Weiterveräusserung der Aktien hatte. Entgegen der Ansicht des Beschwerdeführers hätten auch einem juristischen Laien aber Zweifel verbleiben müssen, ob dieses Dokument sein Risiko völlig entschärft hatte. Aus diesem Dokument ging nämlich unmissverständlich hervor, dass die Übertragung der Aktien erst noch vollzogen werden musste, wofür der Kaufvertrag Frist bis Ende 2005 ansetzte. Folglich hätte vom Beschwerdeführer erwartet werden dürfen, sich vor Ablauf der Frist von sechs Jahren bzw. im Rahmen der Bearbeitung der Steuererklärung für das Jahr des Fristablaufs zu vergewissern, dass der Vollzug des Kaufvertrags tatsächlich stattgefunden hatte. Falls er sich mangels Fachkenntnissen dazu nicht im Stande gesehen haben sollte, wäre es dem Beschwerdeführer gerade angesichts der gravierenden Steuerfolgen einer Teilliquidation nach <ref-law> in Verbindung mit <ref-law> und § 22 Abs. 1 Ziff. 4 des Gesetzes über die Staats- und Gemeindesteuern des Kantons Thurgau (StG/TG; RB 640.1) zumutbar gewesen, einen Steuerberater beizuziehen. Statt diese Abklärungen selbst zu unternehmen oder von einem Steuerberater durchführen zu lassen, hätte der Beschwerdeführer den Sachverhalt auch in seiner Steuererklärung offenlegen und die Würdigung den Steuerbehörden überlassen können, worauf die Vorinstanz zu Recht hingewiesen hat. Der Beschwerdeführer tat nun aber weder das Eine noch das Andere, sondern ging direkt von einem steuerfreien Kapitalgewinn aus. Dieses Verhalten erscheint zumindest als leicht fahrlässig.
3.7. Nichts zu seinen Gunsten ableiten kann der Beschwerdeführer aus der von ihm zitierten Literaturstelle (JULIA VON AH, in: Kommentar zum Schweizerischen Steuerrecht, VStG, 2. Aufl. 2012, N. 58 zu <ref-law>). Die Auffassung dieser Autorin, wonach der Veräusserer seine Deklarationspflicht im Zeitpunkt des Fristablaufs "systembedingt" nicht erfüllen könne, trifft jedenfalls in überschaubaren Verhältnissen nicht zu, wie der vorliegende Fall exemplarisch zeigt: Es wäre dem Beschwerdeführer durchaus möglich gewesen, sich im Rahmen der Bearbeitung seiner Steuererklärung für die Steuerperiode 2005 bei seinem Bruder zu erkundigen, ob die Aktien fristgerecht wiederveräussert worden waren. Überhaupt scheint aber auch diese Autorin davon auszugehen, dass Art. 23 aVStG geändert werden musste, um Veräusserer wie den Beschwerdeführer vor der Verwirkung ihrer Rückerstattungsansprüche zu bewahren. Diese Gesetzesänderung ist denn mittlerweile auch tatsächlich vorgenommen worden, doch findet sie für den vorliegenden Fall keine Anwendung (vgl. oben E. 2.2).
3.8. Da dem Beschwerdeführer zumindest leichte Fahrlässigkeit vorzuwerfen ist, ist sein Rückerstattungsanspruch nach Art. 23 aVStG verwirkt. Wie auch der Beschwerdeführer anerkennt, ist <ref-law> für nach Art. 23 aVStG verwirkte Rückerstattungsansprüche ohne Bedeutung. Darauf braucht folglich nicht weiter eingegangen zu werden.
4.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (<ref-law>). Dem Kanton Thurgau als obsiegender Partei steht nach <ref-law> keine Parteientschädigung zu.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 8'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, der Steuerrekurskommission des Kantons Thurgau und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 9. Mai 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Seiler