Sachverhalt:
A.
C._ (nachfolgend: Kunde, Kläger, Beschwerdegegner) schloss mit A.A._ (nachfolgend: Vermögensverwalter, Beklagter, Beschwerdeführer) im Jahr 2003 mündlich einen Vermögensverwaltungsvertrag. Am 5. Mai 2003 erteilte er dem Vermögensverwalter eine Verwaltungsvollmacht mit Einzelzeichnungsberechtigung für sein Depot und Konto bei der Bank G._. Am 8. November 2007 erteilte er ihm eine zweite Verwaltungsvollmacht für ein weiteres Depot und Konto, ebenfalls bei der Bank G._. Am 30. November 2007 überwies er den Erlös des Verkaufs einer Liegenschaft in London im Wert von Fr. 1'938'866.-- auf dieses Konto. Die Vermögensverwaltungstätigkeit für den Kunden erfolgte bis zum Oktober 2008 über die nicht im Handelsregister eingetragene Einzelunternehmung des Vermögensverwalters ("H._"). Am 10. Oktober 2008 hat dieser die "I._ AG" mit Sitz in U._ gegründet und den Kunden fortan über diese Gesellschaft betreut.
Der Kunde wirft dem Vermögensverwalter vor, es seien im verwalteten Vermögen grosse Verluste entstanden, weil dieser in verschiedener Hinsicht sorgfaltswidrig gehandelt und dadurch seine vertraglichen Pflichten aus dem Vermögensverwaltungsvertrag verletzt habe. So habe er kein Kundenprofil und keine Anlagestrategie erstellt. Er sei auch seiner Informations-, Aufklärungs- und Dokumentationspflicht nicht nachgekommen. Stattdessen habe er durch den Kauf und Verkauf von riskanten Derivaten vorsätzlich Glücksspiel mit dem anvertrauten Vermögen betrieben.
B.
Am 28. Dezember 2015 erhob der Kunde beim Bezirksgericht Kreuzlingen Klage gegen den Vermögensverwalter. Er verlangte, unter dem Vorbehalt der Nachklage, die Zahlung von Fr. 198'333.25 nebst Zins. Gleichzeitig beantragte er, in der von ihm eingeleiteten Betreibung den Rechtsvorschlag in diesem Umfang zu beseitigen.
Der Beklagte beantragte in seiner Klageantwort die Abweisung der Klage und stellte den prozessualen Antrag, das Verfahren auf die Frage der Passivlegitimation zu beschränken. Er machte geltend, passivlegitimiert sei nicht er, sondern die I._ AG. Der Vermögensverwaltungsvertrag sei rückwirkend auf die Gesellschaft übertragen worden.
Der Kläger erklärte sich mit der einstweiligen Beschränkung des Prozessthemas auf die Frage der Passivlegitimation einverstanden. Die Verfahrensleitung des Bezirksgerichts beschränkte daraufhin den Prozess vorläufig auf diese Frage. Das Bezirksgericht beschloss am 16. November 2016, der Beklagte habe zu beweisen, dass der Kläger am 24. September 2008 der rückwirkenden Vertragsübernahme des mit ihm im Jahr 2003 eingegangenen Vermögensverwaltungsvertrags durch die zu gründende I._ AG zugestimmt habe. Dazu wurden in der Beweisverhandlung vom 27. Januar 2017 Rechtsanwalt F._ (Verwaltungsratspräsident der I._ AG), B.A._ (Ehefrau des Beklagten) und D._ (Angestellte der I._ AG) als Zeugen befragt.
Mit Entscheid vom 13./18. Juli 2017 erkannte das Bezirksgericht im Sinne eines Zwischenentscheids, der Beklagte sei passivlegitimiert, da keine Vertragsübernahme durch die I._ AG erfolgt sei.
Mit Entscheid vom 8. März 2018 wies das Obergericht des Kantons Thurgau die vom Beklagten erhobene Berufung ab. Anders als das Bezirksgericht ging das Obergericht zwar davon aus, die Parteien hätten (mit Zustimmung der I._ AG) eine Übertragung des Vermögensverwaltungsvertrages vom Beschwerdeführer auf die I._ AG beschlossen. Es habe sich aber um eine Übertragung mit Wirkung ex nunc auf den Zeitpunkt des Parteiwechsels gehandelt. Die I._ AG habe folglich nur Rechte und Pflichten ab diesem Zeitpunkt übernommen, sodass der Beschwerdeführer für Ansprüche aus dem Vermögensverwaltungsvertrag vor der Vertragsübernahme passivlegitimiert bleibe.
C.
Mit Beschwerde in Zivilsachen beantragt der Vermögensverwalter dem Bundesgericht, den Entscheid des Obergerichts aufzuheben und die Klage abzuweisen. Eventualiter sei das Verfahren zur Vervollständigung des Beweisverfahrens und zur Neuentscheidung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner und die Vorinstanz schliessen auf Abweisung der Beschwerde. Die Parteien haben unaufgefordert eine Beschwerdereplik und eine Beschwerdeduplik eingereicht.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 2.1 S. 397 mit Hinweisen).
1.1. Der angefochtene Entscheid bejaht die Passivlegitimation des Beschwerdeführers und behandelt damit eine Vorfrage. Er schliesst das Verfahren somit bezüglich der Klagebegehren weder ganz noch teilweise ab und qualifiziert sich damit als Vor- und Zwischenentscheid im Sinne von <ref-law> (<ref-ruling> E. 1.2 S. 216).
1.2. Gegen selbstständig eröffnete Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen, ist die Beschwerde nur zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (<ref-law>) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>). Es obliegt dem Beschwerdeführer, darzutun, dass die Voraussetzungen von <ref-law> erfüllt sind, soweit deren Vorliegen nicht ohne Weiteres in die Augen springt (<ref-ruling> E. 1.2 in fine S. 429; <ref-ruling> E. 2.3.1 und 2.4.2).
1.3. Der Beschwerdeführer beruft sich auf <ref-law>.
1.3.1. Die erste Teilvoraussetzung von <ref-law> ist erfüllt. Bei fehlender Passivlegitimation wäre die Klage in einem verfahrensabschliessenden Endurteil abzuweisen.
1.3.2. Auch die weitere Teilvoraussetzung, dass mit einem Endentscheid ein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren erspart werden könnte, ist erfüllt. Der Beschwerdeführer macht geltend, der Beschwerdegegner werfe ihm vor, in sorgfaltswidriger Weise während Jahren eine Anlagestrategie verfolgt zu haben, die nicht seinen Bedürfnissen entsprochen habe. Die Behauptung, die von ihm getätigten Anlagegeschäfte stellten eine Vertragsverletzung dar, habe er bestritten. Im weiteren Verfahren würde er darlegen, dass der Beschwerdegegner bewusst eine risikoreiche Anlagestrategie gewünscht habe. Für den Fall, dass das Bezirksgericht eine Vertragsverletzung annähme, würde er aufzeigen, dass der Vermögensverlust der schwierigen Börsenlage im Jahr 2008 geschuldet sei. Der Beschwerdeführer beschreibt in seiner Beschwerde verschiedene Gutachten, welche er als Beweismittel beantragen würde. Darunter insbesondere auch ein Gutachten über die Entwicklung des verwalteten Vermögens bei pflichtgemässer Erfüllung des Vermögensverwaltungsvertrags. Die Erstellung einer solchen Expertise ist naturgemäss zeitaufwändig und teuer. Denn in diesem Gutachten müsste die Entwicklung des tatsächlich verwalteten Vermögens ( effektives Portfolio) verglichen werden mit der Entwicklung eines Vermögens, das unter Beachtung der vertraglichen Sorgfaltspflichten verwaltet worden wäre ( hypothetisches Portfolio). Dieses hypothetische Portfolio müsste durch den Gutachter erst erstellt und anschliessend dessen Wert berechnet werden. In zeitlicher Hinsicht ist zudem zu beachten, dass ein gestaffeltes Beweisverfahren durchgeführt werden müsste: Zuerst wäre in einem ersten Schritt zu ermitteln, welche Anlagestrategie bei pflichtgemässer Erfüllung des Vermögensverwaltungsvertrages gewählt worden wäre. In diesem Zusammenhang hat der Beschwerdeführer insbesondere bestritten, dass es sich beim anvertrauten Vermögen um die Altersvorsorge des Beschwerdegegners gehandelt habe. Erst wenn die Frage der bei pflichtgemässer Erfüllung zu wählenden Anlagestrategie geklärt ist, könnte in einem zweiten Schritt das Gutachten über die Entwicklung des Vermögens bei pflichtgemässer Erfüllung erstellt werden. Durch einen Endentscheid im Falle der Gutheissung der Beschwerde würde sich folglich eine erhebliche Zeit-, Kosten- und Aufwandsersparnis ergeben.
1.3.3. Die Voraussetzungen von <ref-law> sind erfüllt. Auf die Beschwerde ist daher - unter Vorbehalt einer hinreichenden Begründung - einzutreten.
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.2. Zu beachten ist, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1 S. 18 f.; <ref-ruling> E. 3.2.5 S. 339). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2.1 S. 362). Dies ist insbesondere dann der Fall, wenn das Sachgericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen hat oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 4.2 S. 234 mit Hinweisen). Entsprechend genügt es nicht, lediglich einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem eine freie Sachverhaltsprüfung zukäme (vgl. nur etwa Urteil 4A_606/2015 vom 19. April 2016 E. 2.1).
3. Umstritten ist, welche Vereinbarung die Parteien mit Blick auf die Tatsache, dass die Vermögensverwaltung ab Herbst 2008 durch die I._ AG erfolgen sollte, getroffen haben.
3.1. Ziel der Vertragsauslegung ist es, in erster Linie den übereinstimmenden wirklichen Willen der Parteien festzustellen (vgl. <ref-law>). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und 105 BGG der bundesgerichtlichen Überprüfung entzogen ist (vgl. <ref-ruling> E. 5.2.2 S. 98; <ref-ruling> E. 2.3.2 S. 274; je mit Hinweisen). Steht eine tatsächliche Willensübereinstimmung fest, bleibt für eine Auslegung nach dem Vertrauensgrundsatz kein Raum (<ref-ruling> E. 3.1 S. 632; <ref-ruling> E. 1a S. 73). Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Richters über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (<ref-law>; <ref-ruling> E. 5.2.3 S. 99; <ref-ruling> E. 2.2.1 S. 67; je mit Hinweisen). Massgebend ist dabei der Zeitpunkt des Vertragsabschlusses. Nachträgliches Parteiverhalten ist bei der Auslegung nach dem Vertrauensprinzip nicht von Bedeutung; es kann höchstens - im Rahmen der Beweiswürdigung - auf einen tatsächlichen Willen der Parteien schliessen lassen (<ref-ruling> E. 5.2.3 S. 99; <ref-ruling> E. 2.2.1 S. 67).
3.2.
3.2.1. Die Vorinstanz hielt fest, der Beschwerdeführer mache geltend, der Beschwerdegegner sei am 24. September 2008 umfassend über die Gründung der I._ AG informiert worden und habe der Fortführung der Vermögensverwaltung durch diese ausdrücklich zugestimmt. Der Beschwerdeführer ziehe daraus den Schluss, es sei zwischen den Parteien und der I._ AG ein Übernahmevertrag abgeschlossen worden. Der Vermögensverwaltungsvertrag sei daher auf die I._ AG übergegangen und er sei nicht mehr Vertragspartei und damit auch nicht passivlegitimiert.
Der Beschwerdegegner bestreite dagegen die vom Beschwerdeführer behauptete Vertragsübertragung. Er mache geltend, der zwischen den Parteien abgeschlossene Vermögensverwaltungsvertrag sei konkludent beendet worden. Gleichzeitig sei konkludent ein neues Vermögensverwaltungsverhältnis zwischen ihm und der I._ AG begründet worden.
3.2.2. Die Vorinstanz erkannte, aus der Parteibefragung des Beschwerdegegners gehe hervor, dass dieser die Offerte des Beschwerdeführers auf eine Vertragsübernahme durch die I._ AG auch tatsächlich so verstanden und ihr zugestimmt habe, nachdem er erfahren hätte, wer hinter der I._ AG stehe. Die Genehmigung der Vertragsübernahme durch die I._ AG sei sodann unstrittig. Die Vertragsübertragung vom Beschwerdeführer auf die I._ AG sei aufgrund der tatsächlichen Willensübereinstimmung der Prozessparteien erstellt.
Jedoch könnten die Parteien - so die Vorinstanz weiter - den Zeitpunkt, ab dem die Vertragsübertragung gelte, beliebig vereinbaren. Es sei durch Auslegung des Übertragungsvertrags festzustellen, ob die Parteien eine zeitlich beschränkte oder eine unbeschränkte Vertragsübertragung gewollt hätten. Ein übereinstimmender tatsächlicher Wille des Beschwerdeführers, des Beschwerdegegners und der I._ AG betreffend die Frage einer zeitlich beschränkten oder unbeschränkten Vertragsübertragung sei schon mangels substanziierter Vorbringen nicht feststellbar und ergebe sich auch nicht aus den erhobenen Beweisen. Im Rahmen der Auslegung nach dem Vertrauensprinzip sprächen der Zweck der Vertragsübertragung und die Natur des Grundvertrags für eine bloss zeitlich beschränkte Vertragsübertragung. Die Vertragsübertragung vom Beschwerdeführer auf die I._ AG wirke folglich zeitlich nur beschränkt auf den Zeitpunkt des Parteiwechsels (ex nunc Wirkung) und nicht unbeschränkt ( ex tunc Wirkung). Der Beschwerdeführer bleibe passivlegitimiert, soweit der Beschwerdegegner Forderungen geltend mache, die in der Zeit vom Vertragsabschluss zwischen den Prozessparteien im Jahr 2003 bis zum Parteiwechsel im Herbst 2008 entstanden seien.
3.3. In prozessualer Hinsicht rügt der Beschwerdeführer eine Verletzung von <ref-law>. Er habe im Rahmen seiner Klageantwortschrift und der beschränkten Duplik ausdrücklich ausgeführt, es sei der tatsächlich übereinstimmende Wille sämtlicher Parteien gewesen, den Vermögensverwaltungsvertrag mit Wirkung ex tunc zu übertragen. Der Beschwerdegegner habe diese substanziierten Behauptungen nicht bestritten. Indem die Vorinstanz zwar eine Vertragsübernahme bejahe, jedoch eine rückwirkende Übernahme der Parteistellung des Beschwerdeführers durch die I._ AG verneine, habe sie unbestrittene Behauptungen nicht beachtet.
Der Beschwerdeführer hat, wie er in seiner Beschwerde zu Recht geltend macht, eine Vertragsübernahme durch die I._ AG mit Wirkung ex tunc behauptet. Gemäss den Feststellungen der Vorinstanz hat der Beschwerdegegner eine Vertragsübernahme bestritten und behauptet, der bestehende Vermögensverwaltungsvertrag sei konkludent beendet worden und es sei ein neuer Vertrag zwischen ihm und der I._ AG abgeschlossen worden (vgl. hiervor E. 3.2.1). Wenn der Beschwerdegegner die Vertragsübertragung bestreitet und stattdessen einen Neuabschluss des Vermögensverwaltungsvertrags behauptet, bestreitet er damit inhaltlich auch die vom Beschwerdeführer behauptete ex tunc Wirkung der Vertragsübertragung. Der Beschwerdeführer zeigt jedenfalls in seiner Beschwerde nicht auf - und es ist auch nicht ersichtlich - weshalb es vorliegend für ihn nicht hätte erkennbar sein sollen, dass der Beschwerdegegner damit auch eine ex tunc Wirkung der Übertragung bestreitet. Die Rüge des Beschwerdeführers geht daher fehl.
3.4. Inhaltlich ist der Beschwerdeführer der Auffassung, die Vorinstanz habe zu Unrecht einen tatsächlichen Willen der Prozessparteien auf eine rückwirkende Vertragsübernahme durch die I._ AG verneint.
3.4.1. Der Beschwerdeführer rügt, der tatsächliche Wille des Beschwerdegegners auf eine zeitlich unlimitierte Vertragsübernahme ergebe sich - entgegen der Beweiswürdigung der Vorinstanz - aufgrund des Beweisergebnisses. Die Vorinstanz habe den tatsächlichen Willen auf rückwirkende Vertragsübernahme allein deshalb verneint, weil die Prozessparteien dazu keine konkreten Aussagen gemacht hätten. Für die Feststellung des tatsächlichen Willens der Parteien seien jedoch nicht nur die schriftlichen oder mündlichen Willenserklärungen massgebend, sondern auch sämtliche Umstände, die auf den Willen der Parteien schliessen liessen.
Der Beschwerdeführer zählt in seiner Beschwerde in einer Liste stichwortartig eine Vielzahl von Umständen hinsichtlich des Abschlusses des Übertragungsvertrags auf, welche durch die Vorinstanz nicht berücksichtigt worden seien und aufgrund derer sich angeblich ein übereinstimmender Wille der Prozessparteien und der I._ AG auf eine zeitlich unlimitierte Vertragsübernahme ergäbe. Der Beschwerdeführer beschränkt sich aber über weite Strecken darauf, diese Umstände aufzuzählen, ohne aber konkret darzulegen, inwiefern sich daraus ein tatsächlicher Wille der Prozessparteien und der I._ AG zu einer zeitlich unlimitierten Vertragsübertragung hätte ergeben sollen. Er zeigt erst recht nicht auf, dass die Feststellung der Vorinstanz, wonach ein derartiger übereinstimmender tatsächlicher Wille nicht feststellbar sei, offensichtlich unhaltbar ist. Damit verkennt er die Anforderungen an eine Willkürrüge (vgl. hiervor E. 2.2). Viele der geltend gemachten Umstände betreffen im Übrigen ohnehin nur die Interessenlage der Parteien hinsichtlich einer Vertragsübertragung als solche, jedoch nicht die Frage der Rückwirkung der Übertragung.
Ein tatsächlicher Willen des Beschwerdegegners lässt sich - entgegen der Ansicht des Beschwerdeführers - insbesondere nicht aus dem Umstand ableiten, dass die Vertragsübertragung im Rahmen der Nachfolgeplanung des Beschwerdeführers infolge seiner gesundheitlichen Probleme erfolgt sei. Falls im Falle einer Nachfolgeplanung ein späterer Verkauf der I._ AG an einen Dritten geplant war, wie der Beschwerdeführer ausführt, würde dies vielmehr für eine zeitlich beschränkte Vertragsübertragung mit Wirkung ex nunc sprechen. Denn ein potentieller Nachfolger, welcher die I._ AG vom Beschwerdeführer übernähme, würde wohl darauf bestehen, die Aktiengesellschaft frei von allfälligen Haftungsansprüchen aus der vor der Vertragsübertragung erfolgten Tätigkeit des Beschwerdeführers zu übernehmen. Eine zeitlich unbeschränkte Vertragsübertragung würde daher die Nachfolgeplanung erschweren (vgl. auch hiernach E. 3.5.5).
3.4.2. Der Beschwerdeführer rügt, die Vorinstanz habe zur Frage des tatsächlichen Willens der Prozessparteien und der I._ AG kein vollständiges Beweisverfahren durchgeführt. Die Erstinstanz habe es unterlassen, den von ihm angerufenen Zeugen E. zu befragen, der vom Beschwerdegegner als potentieller Nachfolger vorgeschlagen worden sei. Weder die Erst- noch die Vorinstanz hätten sich zu diesem entscheidenden Zeugen geäussert.
Soweit der Beschwerdeführer die Erstinstanz rügt, ist darauf nicht einzugehen. Der Entscheid der Erstinstanz bildet kein taugliches Anfechtungsobjekt. Der Entscheid der Vorinstanz bildet dagegen zwar ein taugliches Anfechtungsobjekt, es muss aber für die Rügen, die dem Bundesgericht vorgetragen werden, der kantonale Instanzenzug ausgeschöpft worden sein; und zwar nicht nur formell, sondern auch materiell, indem die Rügen soweit möglich schon vor der Vorinstanz vorgebracht werden müssen (<ref-ruling> E. 1.1 S. 293; <ref-ruling> E. 1.3 S. 527). Aus den Sachverhaltsfeststellungen der Vorinstanz geht jedoch nicht hervor, dass der Beschwerdeführer vor der Vorinstanz gerügt hätte, das Bezirksgericht hätte den Zeugen E. befragen müssen. Auf dieses Vorbringen kann daher mangels Ausschöpfung des materiellen Instanzenzugs nicht eingetreten werden.
3.5. Der Beschwerdeführer rügt sodann die vorinstanzliche Auslegung nach dem Vertrauensprinzip.
3.5.1. Der Beschwerdeführer macht geltend, die Vorinstanz habe es in Verletzung von Art. 1 und Art. 18 OR unterlassen, auf die Interessen der I._ AG als vertragsübernehmende Partei abzustellen. Bei Zweifeln über den Parteiwillen seien nach der bundesgerichtlichen Rechtsprechung die Interessen der vertragsübernehmenden Partei massgebend. Vorliegend seien die vertragsübertragende und die vertragsübernehmende Partei wirtschaftlich betrachtet identisch. Es bestünde folglich eine Identität der Interessen. Das massgebliche Interesse der I._ AG als vertragsübernehmende Partei spreche somit für eine rückwirkende Vertragsübernahme.
Der Beschwerdeführer macht zu Recht geltend, dass gemäss der bundesgerichtlichen Rechtsprechung zu Übernahmeverträgen im Dreiparteienverhältnis im Zweifelsfall primär die mutmasslichen Interessen der vertragsübernehmenden Partei massgebend sind (Urteile des Bundesgerichts 4A_30/2017 vom 4. Juli 2017 E. 4.1; 4A_311/2011 vom 19. Juli 2011 E. 3.1.2; 4A_665/2010 vom 1. März 2011 E. 4.1 mit Hinweisen). Diese Rechtsprechung hält aber auch fest, dass bei der Übertragung von Dauerschuldverhältnissen das Interesse der übernehmenden Partei im Prinzip für eine zeitlich beschränkte Vertragsübertragung spricht (zit. Urteile 4A_30/2017 E. 4.1; 4A_311/2011 E. 3.1.2; 4A_665/2010 E. 4.1).
Die vom Beschwerdeführer ins Feld geführte Rechtsprechung des Bundesgerichts betrifft das klassische Dreiparteienverhältnis, indem die drei beteiligten Parteien unterschiedliche, nicht gleich gerichtete Interessen verfolgen. Dieser Fall liegt aber nicht vor, wenn - wie der Beschwerdeführer zu Recht geltend macht - die Interessen der vertragsübertragenden und der vertragsübernehmenden Partei gleich gerichtet sind. In diesem Sonderfall ist die vom Beschwerdeführer zitierte Rechtsprechung nicht einschlägig und der Beschwerdeführer kann daraus nichts ableiten.
3.5.2. Es ist daher darauf abzustellen, wie der Beschwerdegegner die Offerte des Beschwerdeführers verstehen musste. Zu berücksichtigen ist dabei insbesondere der vom Erklärenden verfolgte Regelungszweck, wie ihn der Erklärungsempfänger in guten Treuen verstehen durfte und musste (<ref-ruling> E. 4 S. 28 mit Hinweis).
Aus den Feststellungen der Vorinstanz ergibt sich, dass beide Parteien trotz der Vertragsübertragung von der Einzelunternehmung des Beschwerdeführers auf die I._ AG auf grösstmögliche Kontinuität im Vermögensverwaltungsverhältnis setzten. So stellte die Vorinstanz fest, die Vermögensverwaltung habe wie bisher unverändert durch den Beschwerdeführer erfolgen sollen. Der einzige Unterschied sei gewesen, dass rechtlich neu die I._ AG Vertragspartner gewesen sei. Es sei für den Beschwerdegegner zentral gewesen, auch nach der Vertragsübertragung durch den Beschwerdeführer betreut zu werden. Auch aus der Aussage von B.A._ ergebe sich, dass der Vermögensverwaltungsvertrag inhaltlich unverändert weitergeführt worden sei und sich nur der Vertragspartner des Beschwerdegegners geändert habe.
Vor dem Hintergrund, dass die Parteien trotz des Parteiwechsels grösstmögliche Kontinuität anstrebten, musste dem Beschwerdeführer bewusst sein, dass es aus Sicht des Beschwerdegegners um eine Weiterführung des Vermögensverhältnisses mit möglichst wenig Veränderungen ging. Der Beschwerdegegner musste daher nach Treu und Glauben nicht davon ausgehen, dass im Zeitpunkt der Vertragsübertragung eine Haftungsbeschränkung für die Vergangenheit beabsichtigt war. Eine Vertragsübertragung mit Wirkung ex tunc hätte aber zu diesem Resultat geführt. Eine solche rückwirkende Haftungsbeschränkung wäre dem von beiden Parteien verfolgten Zweck der Kontinuität diametral entgegengestanden. Es verletzt daher kein Bundesrecht, wenn die Vorinstanz aufgrund der Auslegung nach dem Vertrauensprinzip zum Ergebnis gelangt, die Vertragsübertragung wirke zeitlich nicht rückwirkend, sondern nur beschränkt auf den Zeitpunkt des Parteiwechsels.
3.5.3. In diesem Sinne hat die Vorinstanz - entgegen dem Beschwerdeführer - auch kein Bundesrecht verletzt, wenn sie festhielt, der Beschwerdeführer wäre, insbesondere vor dem Hintergrund der massiven Verluste im verwalteten Vermögen, nach Treu und Glauben verpflichtet gewesen, den Beschwerdegegner auf eine Rückwirkung der Vertragsübertragung ausdrücklich aufmerksam zu machen. Denn bei grossen Verlusten bestünde in diesem Fall aufgrund der Haftungsbeschränkung die virulente Gefahr, dass etwaige Ansprüche des Beschwerdegegners im Zusammenhang mit vor der Vertragsübertragung entstandenen Verlusten, nicht mehr gedeckt wären. Es verletzt daher kein Bundesrecht, wenn die Vorinstanz festhält, aufgrund des Umstandes, dass die Vermögensverwaltung auf einer seit Jahren andauernden, auf Freundschaft und Vertrauen basierenden Grundlage zwischen den Parteien beruht habe, wäre der Beschwerdeführer verpflichtet gewesen, den Beschwerdegegner auf eine beabsichtigte zeitlich unlimitierte Vertragsübertragung aufmerksam zu machen.
3.5.4. Der Beschwerdeführer rügt allerdings in tatsächlicher Hinsicht, die Vorinstanz gehe zu Unrecht davon aus, es hätte zum Zeitpunkt der Übertragung ein Verlust von Fr. 1'400'000.-- bestanden. Er habe dies in seiner Klageantwort bestritten.
Diese Rüge ist unbegründet. Der Beschwerdeführer führt an der zitierten Stelle bloss aus, dass der Beschwerdegegner im Rahmen der Gesamtbetrachtung - namentlich unter der Optik einer allfälligen Vorteilsanrechnung - keinen Schaden erlitten habe. Damit wurde ein Verlust von Fr. 1'400'000.-- nicht rechtsgenüglich bestritten. Im Übrigen stellte die Vorinstanz weiter fest, die Zeugin B.A._ habe ausgesagt, die Situation habe sich aufgrund der weltweiten Finanz- und Bankenkrise verändert und die Depots hätten damals drastisch an Wert verloren. Die Vorinstanz schloss daraus, es hätte ein massiver Verlust im verwalteten Vermögen bestanden. Diese Beweiswürdigung wird vom Beschwerdeführer nicht rechtsgenüglich (vgl. hiervor E. 2.2) gerügt.
3.5.5. Der Beschwerdeführer macht zusätzlich geltend, dass eine Vertragsübertragung mit Wirkung ex tunc beabsichtigt gewesen sei, ergebe sich auch aus dem Zweck der Nachfolgeplanung. Es sei bei der Vertragsübertragung auf die I._ AG angesichts seines Alters und seiner Erkrankung darum gegangen, durch einen späteren Verkauf der Aktien, seine Nachfolge zu planen.
Die Vorinstanz hielt fest, der Beschwerdegegner möge wohl vom Beschwerdeführer informiert worden sein, dass wegen seiner Erkrankung eine Nachfolgeregelung im Sinne einer Ablösung durch die I._ AG erforderlich geworden sei. Damit sagt die Vorinstanz aber nichts über einen geplanten Verkauf der I._ AG. Ein beabsichtigter Verkauf der Aktien an der I._ AG im Sinne einer Nachfolgeregelung würde aber ohnehin vielmehr für eine Vertragsübernahme mit zeitlich beschränkter Wirkung sprechen. Ist doch in diesem Fall - wie der Beschwerdegegner zu Recht geltend macht - anzunehmen, dass ein potentieller Nachfolger darauf bestehen würde, die I._ AG frei von allfälligen Haftungsansprüche aus der vor der Vertragsübertragung erfolgten Tätigkeit des Beschwerdeführers zu übernehmen (vgl. hiervor E. 3.4.1).
3.5.6. Die Vertragsauslegung nach dem Vertrauensprinzip durch die Vorinstanz ist somit bundesrechtlich nicht zu beanstanden. Der Beschwerdeführer ist passivlegitimiert, soweit der Beschwerdegegner Forderungen geltend macht, die in der Zeit vom Vertragsabschluss zwischen dem Beschwerdegegner und dem Beschwerdeführer im Jahr 2003 bis zum Parteiwechsel im Herbst 2008 entstanden sind.
4.
Bei diesem Ergebnis erübrigt es sich, auf die Ausführungen des Beschwerdegegners in seiner Beschwerdeantwort einzugehen, wonach zwischen den Parteien überhaupt kein Übernahmevertrag geschlossen worden sei bzw. ein solcher aufgrund der nicht erfüllten Formvorschrift von <ref-law> nichtig wäre. Denn selbst wenn die Auffassung des Beschwerdegegners zutreffen sollte, hätte dies auf die Passivlegitimation des Beschwerdeführers keinen Einfluss. Diese wäre im gleichen Ausmass gegeben.
5.
Die Rügen des Beschwerdeführers erweisen sich als unbegründet. Die Beschwerde ist daher abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (<ref-law> und <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 7'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 30. Januar 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Gross