Faits:
A.
A.a. Par jugement du 4 septembre 1986, le Tribunal criminel du district de Lausanne a notamment condamné par défaut X._ - qui avait été régulièrement assigné à l'audience de jugement par citation remise en mains propres le 2 mai 1986 et qui s'était évadé de détention préventive le 21 mai 1986 - pour infraction grave à la loi fédérale sur les stupéfiants et faux dans les certificats par métier à la peine de vingt ans de réclusion, sous déduction de la détention préventive, l'a expulsé par défaut du territoire suisse pour une durée de quinze ans et a ordonné la confiscation et la dévolution à l'Etat de diverses espèces et valeurs séquestrées en cours de procédure, totalisant un montant de plusieurs millions de francs. Ce jugement a fait l'objet d'une publication dans la Feuille des avis officiels du canton de Vaud du 3 octobre 1986.
A.b. A la suite de son extradition des Etats-Unis en Suisse, X._ a déposé une demande de relief du jugement précité. Le 9 septembre 2004, le Tribunal de police de l'arrondissement de Lausanne a notamment admis la demande de relief formée par X._ contre le jugement rendu le 4 septembre 1986, a mis celui-ci à néant, a constaté que l'action pénale était prescrite et a dès lors mis fin à celle-ci concernant X._.
S'agissant des fonds confisqués par le Tribunal criminel en 1986, le Tribunal de police a indiqué que cette question avait été évoquée lors de l'audience de relief, mais que X._ n'avait pas formulé de revendication très claire, faisant surtout valoir que la plupart des fonds appartenaient à des tiers. Il a considéré que, dans la mesure où le Tribunal criminel avait constaté que tous les fonds séquestrés en cours d'enquête avaient été obtenus de manière illicite, c'était à bon droit que ce tribunal avait ordonné, conformément aux art. 58 ss aCP, la dévolution et la confiscation à l'Etat de ces montants. Le Tribunal de police a ajouté qu'aucun tiers ne s'était manifesté durant l'enquête pour faire valoir une quelconque revendication sur les montants finalement alloués à l'Etat. Il a en outre précisé qu'il appartiendrait à X._, dans le cadre d'une action civile, de prouver que la mesure de confiscation des fonds n'avait pas lieu d'être en démontrant, pièces à l'appui, que les fonds n'avaient pas été acquis de manière illicite. Il n'appartenait pas au juge pénal d'ordonner la restitution des fonds pour le motif que l'action pénale était prescrite. D'une part, il n'était pas certain que l'extinction de l'action pénale emporte l'impossibilité de confisquer les fonds. Au reste, lorsque les valeurs avaient été confisquées, l'action pénale n'était pas prescrite. D'autre part, le fait d'ordonner la restitution de l'argent revenait à admettre, sans autre forme de procès, que l'argent qui avait été confisqué n'était pas illicite et, par voie de conséquence, que X._ n'avait jamais commis les infractions pour lesquelles il avait été condamné.
X._ a déposé un recours contre le jugement du 9 septembre 2004, recours qu'il a ensuite retiré.
B.
Le 27 mars 2013, le Tribunal de police de l'arrondissement de Lausanne a déclaré irrecevable la requête en complément du jugement rendu le 9 septembre 2004 par le Tribunal de police de l'arrondissement de Lausanne déposée par X._ le 17 août 2012. Dans le cadre de cette procédure, celui-ci concluait à la levée du séquestre pénal et/ou de toutes autres mesures, de fait ou de droit, opérées à son endroit, sur tous les avoirs de quelque nature que ce soit, notamment mais pas exclusivement lingots et pièces d'or, onces d'argent, comptes bancaires, dépôts titres, créances, numéraires etc., dont il était titulaire. Il a également conclu à ce que lui soient restitués les avoirs en compte et toutes autres choses mobilières séquestrés.
C.
Par arrêt du 19 juillet 2013, la Chambre des recours pénale a rejeté le recours formé par X._ à l'encontre du jugement du 27 mars 2013.
D.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 19 juillet 2013. Il conclut, avec suite de frais et dépens, principalement à la réforme de celui-ci en ce sens que le séquestre pénal et/ou toutes autres mesures, de fait ou de droit, opérées à son endroit dans le cadre de la procédure pénale sur tous avoirs de quelque nature que ce soit, notamment mais pas exclusivement lingots et pièces d'or, onces d'argent, comptes bancaires, dépôts titres, créances, numéraires etc., dont il est titulaire sont levés et les avoirs lui sont restitués. Subsidiairement, il conclut à l'annulation de la décision entreprise et au renvoi de la cause à l'autorité précédente.

Considérant en droit:
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 542).
1.1. Selon l'<ref-law>, le Tribunal fédéral connaît des recours contre les décisions rendues en matière pénale. La notion de « décisions en matière pénale » comprend toutes les décisions qui se fondent sur le droit pénal matériel ou le droit de procédure pénale (arrêt 6B_15/2012 du 13 avril 2012 consid. 1.1). En l'occurrence, le recourant requiert la levée d'un séquestre ordonné dans le cadre d'une procédure pénale et la restitution des biens objet de celui-ci. La décision entreprise a bien été rendue en matière pénale même si elle constate, au final, que le recourant aurait dû agir par la voie civile. Dans la mesure où le recourant requiert la restitution de biens qui ont été séquestrés puis confisqués en qualité de prétendu titulaire de ces biens, il a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (<ref-law>; cf. arrêt 6B_1035/2008 du 11 mai 2009 consid. 1.4). Les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière sur le fond.
2.
Le recourant requiert la levée des séquestres ordonnés dans le cadre de la procédure instruite contre lui et qui a abouti à sa condamnation par défaut en 1986 et la restitution en sa faveur des avoirs objet du séquestre. Pour ce faire, il a requis de l'autorité cantonale qu'elle statue sur ces questions dans le cadre d'une décision judiciaire ultérieure indépendante. Sur le fond, il fait valoir que la décision de levée des séquestres et de confiscation de 1986 serait devenue caduque à la suite de l'acceptation du relief en 2004. Dans le cadre de la procédure de 2004, les conditions de la confiscation n'auraient pas été réalisées et l'autorité judiciaire n'aurait pas ordonné la confiscation. Les biens concernés devraient par conséquent lui être restitués.
2.1. La cour cantonale a retenu, en substance, que les décisions judiciaires ultérieures indépendantes au sens des <ref-law> concernaient la modification ou le complètement de la sentence en raison d'une circonstance tenant au comportement du condamné ou au processus d'exécution de sa sanction. Dès lors que la requête du recourant ne concernait pas ces éléments, elle ne pouvait pas faire l'objet d'une décision judiciaire ultérieure indépendante. La cour cantonale a en outre relevé qu'il ressortait clairement de la décision de 2004 que le juge du relief avait considéré que la confiscation des avoirs séquestrés devait être maintenue (cf. jugement attaqué, p. 7). Elle a estimé qu'en tant que la requête du recourant aurait dû être comprise comme une demande de rectification au sens de l'<ref-law>, c'était à bon droit que le jugement du 27 mars 2013 avait retenu qu'elle était irrecevable. Selon la cour cantonale, dès lors que les valeurs séquestrées avaient été versées à la caisse de l'Etat en 1987 à la suite du jugement rendu en 1986, le sort des séquestres et la confiscation n'avaient pas à faire l'objet d'un chiffre du dispositif du jugement de 2004 et, par conséquent, la demande de rectification était irrecevable (cf. jugement attaqué, p. 8).
2.2. Dans la mesure où la cour cantonale n'est pas entrée en matière sur l'éventuelle requête de rectification du recourant au sens de l'<ref-law> et que ce dernier conteste que sa requête doive être interprétée comme une demande de rectification, il n'y a pas lieu d'examiner la motivation cantonale à cet égard. Au demeurant, une requête de rectification déposée aussi longtemps après la décision de 2004 ne serait guère compatible avec le principe de la bonne foi en procédure (cf. MOREILLON /PAREIN-REYMOND, Petit commentaire, Code de procédure pénale, 2013, n o 7 ad <ref-law>).
2.3. Le recourant soutient que l'autorité cantonale aurait violé l'<ref-law> en refusant de statuer sur la restitution des biens en sa faveur dans le cadre d'une procédure judiciaire ultérieure indépendante.
2.4. Le raisonnement du recourant part de la prémisse que le jugement de 1986 est devenu caduc et que celui de 2004 n'a pas statué sur la question des séquestres et de la confiscation. Il faut toutefois constater que le tribunal s'est effectivement prononcé en 2004 sur les séquestres et la confiscation. En effet, il ressort notamment du considérant 5 de la décision de 2004 qu' «...il faut constater que le Tribunal criminel de Lausanne a considéré que tous les fonds qui avaient été séquestrés en cours d'enquête avaient été obtenus de manière illicite, en particulier qu'ils étaient le fruit des infractions pénales reprochées à X._ et pour lesquelles il a été condamné à une peine de 20 ans de réclusion. C'est donc à bon droit que les juges du Tribunal criminel ont ordonné, conformément aux art. 58ss du Code pénal, la confiscation et la dévolution à l'Etat des montants qui avaient été séquestrés en cours d'enquête en main du comparant.». Le recourant pouvait comprendre ce jugement et ne pouvait ignorer, de bonne foi, le sort des valeurs séquestrées. Il lui appartenait de faire recours contre celui-ci, en 2004, s'il entendait obtenir la restitution de ses prétendus biens, soit qu'il estimait que les conditions d'une confiscation n'étaient pas remplies, soit que la décision n'ordonnait pas formellement la restitution des biens en ses mains. Il ne prétend, ni ne démontre qu'il n'aurait pas eu connaissance du jugement de 2004, ni qu'il aurait été empêché de faire recours à son encontre. Bien au contraire, il ressort du jugement attaqué que le recourant avait formé un recours contre la décision en 2004, recours qu'il avait ensuite retiré. Contrairement à ce qu'affirme le recourant, son recours n'aurait pas été déclaré irrecevable, faute d'intérêt au recours. En effet, même s'il ressortait de la jurisprudence citée par le recourant que l'intérêt au recours se juge à l'aune du dispositif (cf. <ref-ruling> consid. 1a p. 46; arrêt 6B_131/2011 du 26 avril 2011 consid. 3.3), son intérêt résidait dans le fait que le dispositif n'ordonnait pas la restitution des valeurs séquestrées en sa faveur.
Au vu de ce qui précède, la confiscation se fonde sur le jugement de 2004. La jurisprudence citée par le recourant (arrêt 6B_472/2012 du 13 novembre 2012) ne lui est d'aucun secours. En effet, dans ce cas, l'autorité cantonale n'avait précisément pas statué sur l'indemnisation de l'accusé acquitté, raison pour laquelle le Tribunal fédéral suggérait à l'autorité cantonale de recourir à la procédure judiciaire ultérieure indépendante. Ce cas se distingue donc de la présente cause. Dès lors que la question de la confiscation a été tranchée dans la décision de 2004, le recourant ne peut prétendre à une nouvelle décision sur ce point au travers d'une décision judiciaire ultérieure indépendante. Cette procédure n'a en effet pas pour vocation de pallier le défaut de dépôt d'un recours.
Le recourant soutient encore que si le jugement de 2004 devait être interprété dans le sens du maintien de la confiscation, l'application de la loi fédérale sur le partage des valeurs patrimoniales confisquées (LVPC; RS 312.4) aurait donné lieu au partage des fruits de cette confiscation. Tel n'aurait pas été le cas ce qui impliquerait une annulation du jugement attaqué. Le recourant n'expose pas pour quel motif l'application de cette loi pourrait permettre l'annulation du jugement attaqué et tel n'est pas le cas. Au demeurant, l'éventuel partage entre les cantons et la Confédération des valeurs patrimoniales confisquées n'a pas à figurer dans le jugement de confiscation mais fait l'objet d'une procédure séparée (art. 6 LVPC), à laquelle le recourant ne peut pas être partie. Son grief est infondé dans la mesure où il est recevable.
2.5. Le recourant reproche à la cour cantonale une application arbitraire de l'art. 406 aCPP/VD. Il soutient que l'acceptation du relief par le tribunal en 2004 aurait mis à néant le jugement de 1986 dans son ensemble, y compris s'agissant du sort des séquestres et de la confiscation prononcée. Le tribunal, en 2004, aurait eu l'obligation de reprendre à zéro l'instruction de la cause en application de l'art. 406 aCPP/VD s'il souhaitait retenir l'existence d'une infraction pénale donnant lieu à confiscation. Le recourant prétend en outre que les conditions d'une confiscation ne seraient pas réalisées et que la cour cantonale aurait ainsi violé les art. 59 aCP et 70 CP.
En réalité, de cette manière, le recourant entend remettre en cause la décision de 2004 ce qu'il n'est pas autorisé à faire dans la présente procédure. Les griefs du recourant qui ont trait au bien-fondé du jugement de 2004 sont ainsi irrecevables.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 février 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet