Faits:
Faits:
A. Par jugement du 18 novembre 2005, le Tribunal de police de l'arrondissement de Lausanne a levé, en faveur de C._, le séquestre sur la somme de 99'910 US $, convertie en 137'326 fr. 30 et, en faveur de B._, le séquestre sur la somme de 91'400 US $, convertie en 124'349 fr. 70. Ces sommes avaient été saisies auprès de la Banque X._ à Z._. Il a également levé le séquestre sur la police d'assurance-vie n° xxx auprès de la F._ au nom de D._.
Cette décision repose, en bref, sur les faits suivants:
A.a Entre 1993 et 2002, A._ aurait investi environ 1'200'000 US $ dans le but d'obtenir un transfert de quelque 30'000'000 US $, dont 7'000'000 US $ à titre de commission. Ses contacts se trouvaient au Nigéria. Malgré des versements réguliers à titre d'avance de frais, il n'a jamais reçu de retour sur ses "investissements" et a ainsi été victime d'une escroquerie dite de la "Nigerian Connection".
A._ a notamment versé sur le compte de G._ auprès de la Banque H._, à Londres, 2'500 US $ le 12 février 1996 et 4'230 US $ le 9 avril 1996.
A.b B._ et C._, d'origine indienne et établis au Nigéria, oeuvrent depuis de nombreuses années dans le commerce international. La législation nigériane ne permettant que difficilement de sortir des devises du pays, les commerçants ont recours à un système de transfert de fonds par compensation. Ce système fonctionne au travers d'intermédiaires répartis dans le monde entier et qui se connaissent entre eux. Les transactions se font sans documents écrits et ne laissent donc aucune trace matérielle. Ce procédé largement répandu permet de financer des opérations de commerce tout à fait licites dans des pays au système bancaire peu sûr ou connaissant un contrôle des devises très strict.
Ces deux commerçants sont titulaires de comptes bancaires auprès de la banque X._ SA, à Y._. Dans le cadre de l'enquête instruite à la suite des escroqueries dont A._ a été l'une des victimes, il est apparu que des fonds avaient été transférés du compte de G._ auprès de la Banque H._ sur les comptes de B._ et C._ auprès de la banque X._. En particulier, le compte de G._ a été débité, d'une part, d'un montant total de 91'400 US $ en faveur du compte de B._, entre le 5 décembre 1995 et le 26 janvier 1996, et, d'autre part, d'un montant total de 99'910 US $ en faveur de C._, entre le 7 août et le 19 octobre 1995. Ces sommes ont été séquestrées.
Dans le cadre de transferts de fonds effectués hors du Nigéria par opérations de compensation, B._ et C._ ont tous deux été en contact avec l'agent de change K._, lequel apparaissait dans les documents d'ouverture des comptes G._. En revanche, aucun des deux commerçants n'a eu de relation d'affaires avec celle-ci. Leur activité professionnelle paraissait tout à fait licite et les montants reçus par ceux-ci sur leurs comptes en Suisse correspondaient, grosso modo, aux sommes confiées à l'agent de change aux fins du transfert de fonds à l'étranger, la différence pouvant s'expliquer par la perception de frais et autres taxes liées au change.
A.c Le compte de G._ auprès de la Banque H._ a également été débité pour payer certaines primes de police d'assurance-vie en faveur de D._ auprès de F._. Au total, une somme de 2'004,50 GB £ a été virée sur cette police, qui a également été séquestrée.
A.d Au terme d'une instruction de plus de six ans, le Juge d'instruction de l'arrondissement de Lausanne a prononcé un non-lieu, les auteurs des escroqueries commises au préjudice notamment de A._ n'ayant pu être identifiés. Par arrêt du 15 mars 2005, le Tribunal d'accusation vaudois a confirmé ce non-lieu et transmis le dossier au Tribunal de police de l'arrondissement de Lausanne pour qu'il statue sur le sort des séquestres. Par jugement du 18 novembre 2005, ce tribunal a levé les séquestres.
A.d Au terme d'une instruction de plus de six ans, le Juge d'instruction de l'arrondissement de Lausanne a prononcé un non-lieu, les auteurs des escroqueries commises au préjudice notamment de A._ n'ayant pu être identifiés. Par arrêt du 15 mars 2005, le Tribunal d'accusation vaudois a confirmé ce non-lieu et transmis le dossier au Tribunal de police de l'arrondissement de Lausanne pour qu'il statue sur le sort des séquestres. Par jugement du 18 novembre 2005, ce tribunal a levé les séquestres.
B. Par arrêt du 16 février 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de A._. En bref, elle a retenu que les montants séquestrés ne pouvaient être confisqués. L'ampleur des transactions effectuées sur le compte de G._ rendait effectivement impossible l'établissement du trajet exact des montants versés par le recourant. De plus, les dates des versements du lésé étaient éloignées de plusieurs semaines, voire de plusieurs mois, des virements effectués en faveur de B._ et C._.
B. Par arrêt du 16 février 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de A._. En bref, elle a retenu que les montants séquestrés ne pouvaient être confisqués. L'ampleur des transactions effectuées sur le compte de G._ rendait effectivement impossible l'établissement du trajet exact des montants versés par le recourant. De plus, les dates des versements du lésé étaient éloignées de plusieurs semaines, voire de plusieurs mois, des virements effectués en faveur de B._ et C._.
C. A._ dépose un recours de droit public pour arbitraire et un pourvoi en nullité pour violation de l'art. 59 CP. Il conclut à l'annulation de l'arrêt cantonal. Il requiert l'assistance judiciaire et l'effet suspensif, qui lui a été accordé par ordonnance présidentielle du 15 mai 2006.
Le Tribunal fédéral considère en droit:
I. Recours de droit public
I. Recours de droit public
1. 1.1 Le recourant a un intérêt personnel et juridiquement protégé à l'annulation de la décision attaquée, en tant que cette dernière le prive de la possibilité d'obtenir la réparation du dommage qu'il a subi par l'allocation, en application des art. 59 et 60 CP, des valeurs patrimoniales dont il a demandé la confiscation. Il a donc qualité pour recourir selon l'art. 88 OJ.
1.2 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'examine ainsi que les griefs expressément soulevés, et exposés de façon claire et détaillée, le principe jura novit curia étant inapplicable (ATF 130 I 26 consid. 2.1 p. 31). Le justiciable qui exerce un recours de droit public pour arbitraire ne peut dès lors pas se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer son opinion à celle de l'autorité cantonale, mais il doit démontrer, par une argumentation précise, que cette décision repose sur une application de la loi ou une appréciation des preuves manifestement insoutenables (ATF 130 I 258 consid. 1.3 p. 261 s.; 129 I 113 consid. 2.1 p. 120).
1.2 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'examine ainsi que les griefs expressément soulevés, et exposés de façon claire et détaillée, le principe jura novit curia étant inapplicable (ATF 130 I 26 consid. 2.1 p. 31). Le justiciable qui exerce un recours de droit public pour arbitraire ne peut dès lors pas se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer son opinion à celle de l'autorité cantonale, mais il doit démontrer, par une argumentation précise, que cette décision repose sur une application de la loi ou une appréciation des preuves manifestement insoutenables (ATF 130 I 258 consid. 1.3 p. 261 s.; 129 I 113 consid. 2.1 p. 120).
2. Le recourant se plaint d'arbitraire.
Cette notion a été rappelée dans divers arrêts récents, auxquels on peut donc se référer. En bref, il ne suffit pas, pour qu'il y ait arbitraire, que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais dans son résultat (ATF 129 I 8 consid. 2.1 p. 9, 173 consid. 3.1 p. 178).
2.1 Le recourant reproche à la Cour de cassation d'avoir contesté, contrairement aux magistrats précédents, le montant total de ses versements par 1'200'000 US $, effectué sur le compte de G._
Ce grief tombe à faux. En effet, la Cour de cassation, tout comme le Tribunal de police, ont simplement constaté, dans les faits, que le recourant aurait investi, entre 1993 et 2002, environ 1'200'000 US $ dans le but d'obtenir un transfert de quelque 30'000'000 US $, et qu'il a notamment versé 2'500 US $, puis 4'230 US $ en février et avril 1996 sur le compte de G._ auprès de la Banque H._ à Londres. Ce faisant, les autorités cantonales ne se sont jamais prononcées sur la réalité du montant total investi par le recourant. Elles n'avaient d'ailleurs pas à le faire, dans la mesure où elles admettaient, sans que l'arbitraire ne soit démontré à ce sujet (cf. infra consid. 2.3), qu'aucun lien ne pouvait être établi entre les sommes versées par le recourant et les montants virés sur les comptes bancaires des commerçants indiens et qu'il était par conséquent impossible d'établir le trajet exact des montants avancés par l'intéressé.
2.2 Le recourant voit une contradiction dans le fait de tenir pour établies des opérations de compensation improuvables.
Les juges cantonaux ont relevé que B._ et C._ avaient confié leurs fonds, acquis licitement, à un intermédiaire, soit l'agent de change K._, qui les avait fait sortir du Nigéria par compensation, sans transfert matériel et sans document écrit. Contrairement aux allégations de l'intéressé, ces constatations ne sont pas nécessairement contradictoires. Il est en effet possible d'admettre la réalité de transactions même en l'absence de toute trace documentaire, en se basant par exemple sur les déclarations des parties au contrat. Le grief est dès lors infondé.
2.3 Le recourant soutient que la mauvaise foi des commerçants indiens est évidente, ces derniers se servant à l'aveugle de réseaux maffieux pour une fraude au contrôle des changes. Il affirme également que son argent, crédité sur le compte de G._, a directement servi à alimenter les comptes de B._ et C._. Il conteste enfin le sort réservé à l'assurance-vie de D._, alors que celle-ci a été financée par des fonds de la G._ provenant de ses versements et que l'assuré n'a jamais allégué avoir fourni une contre-prestation pour le financement de cette assurance.
La Cour de cassation a retenu qu'aucun lien ne pouvait être établi entre les sommes versées par le recourant et les montants qui ont été virés sur les comptes bancaires de B._ et C._ ou qui ont servi à financer l'assurance-vie de D._. L'ampleur des transactions effectuées sur le compte de G._ rendait effectivement impossible l'établissement du trajet exact des montants en cause. De plus, les dates des versements du recourant étaient éloignés de plusieurs semaines, voire de plusieurs mois, des virements effectués en faveur des commerçants indiens. Le recourant ne démontre pas en quoi cette appréciation serait arbitraire. Il se contente d'alléguer des faits sans pertinence et de contester les constatations cantonales en opposant sa propre appréciation des preuves à celle de l'autorité cantonale. Son argumentation, purement appellatoire, est dès lors irrecevable.
La Cour de cassation a retenu qu'aucun lien ne pouvait être établi entre les sommes versées par le recourant et les montants qui ont été virés sur les comptes bancaires de B._ et C._ ou qui ont servi à financer l'assurance-vie de D._. L'ampleur des transactions effectuées sur le compte de G._ rendait effectivement impossible l'établissement du trajet exact des montants en cause. De plus, les dates des versements du recourant étaient éloignés de plusieurs semaines, voire de plusieurs mois, des virements effectués en faveur des commerçants indiens. Le recourant ne démontre pas en quoi cette appréciation serait arbitraire. Il se contente d'alléguer des faits sans pertinence et de contester les constatations cantonales en opposant sa propre appréciation des preuves à celle de l'autorité cantonale. Son argumentation, purement appellatoire, est dès lors irrecevable.
3. Le recours de droit public est ainsi rejeté dans la mesure où il est recevable. Comme il était d'emblée dénué de chances de succès, l'assistance judiciaire ne peut être accordée (art. 152 al. 1 OJ) et le recourant, qui succombe, supportera les frais (art. 156 al. 1 OJ), fixés en fonction de sa situation financière.
II. Pourvoi en nullité
II. Pourvoi en nullité
4. 4.1 Selon l'art. 270 let. h PPF, celui qui est touché par une confiscation et a un intérêt juridiquement protégé à ce que la décision soit annulée ou modifiée a qualité pour se pourvoir en nullité. Est également légitimé, en application de cette disposition, celui qui est touché par le refus du juge de prononcer une confiscation (ATF 130 IV 143 consid. 2.2 p. 148).
En l'occurrence, le recourant est touché par la décision attaquée et a un intérêt juridiquement protégé à son annulation, cet arrêt le privant de la possibilité d'obtenir la réparation de son dommage en application des art. 59 et 60 CP (cf. supra consid. 1.1). Il convient par conséquent de lui reconnaître la qualité pour recourir selon l'art. 270 let. h PPF.
4.2 Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base exclusive de l'état de fait définitivement arrêté par l'autorité cantonale (cf. art. 277bis et 273 al. 1 let. b PPF).
Le raisonnement juridique doit se fonder sur les faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter. Le Tribunal fédéral n'est pas lié par les motifs invoqués, mais il ne peut aller au-delà des conclusions du recourant (art. 277bis PPF). Celles-ci, qui doivent être interprétées à la lumière de leur motivation, circonscrivent les points litigieux (ATF 126 IV 65 consid. 1 p. 66).
Le raisonnement juridique doit se fonder sur les faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter. Le Tribunal fédéral n'est pas lié par les motifs invoqués, mais il ne peut aller au-delà des conclusions du recourant (art. 277bis PPF). Celles-ci, qui doivent être interprétées à la lumière de leur motivation, circonscrivent les points litigieux (ATF 126 IV 65 consid. 1 p. 66).
5. Le recourant prétend avoir droit à l'allocation des montants séquestrés. Il relève avoir des droits préférables sur ces sommes par rapport à B._ et C._, qui ne sont certainement pas de bonne foi et n'ont jamais démontré avoir fourni une quelconque contre-prestation en échange des sommes litigieuses versées sur leur compte. Il estime également avoir un droit préférable à D._, ce dernier n'ayant jamais démontré qu'il avait le droit de recevoir l'assurance-vie dont le montant a été séquestré.
5.1 Selon l'art. 59 CP, le juge prononcera la confiscation des valeurs patrimoniales qui sont le résultat d'une infraction ou qui étaient destinées à décider ou à récompenser l'auteur d'une infraction, si elles ne doivent pas être restituées au lésé en rétablissement de ses droits (ch. 1 al. 1). La confiscation ne sera pas prononcée lorsqu'un tiers a acquis les valeurs dans l'ignorance des faits qui l'auraient justifiée, et cela dans la mesure où il a fourni une contre-prestation adéquate ou si la confiscation se révèle à son égard d'une rigueur excessive (ch. 1 al. 2). Lorsque les valeurs à confisquer ne sont plus disponibles, le juge ordonne leur remplacement par une créance compensatrice d'un montant équivalent en faveur de l'Etat; contre un tiers, cette créance ne peut être prononcée que dans la mesure où les conditions excluant une confiscation ne sont pas remplies (ch. 2 al. 1 CP). L'art. 60 CP prévoit par ailleurs que si, par suite d'un crime ou d'un délit, une personne a subi un dommage qui n'est couvert par aucune assurance et qu'il est à prévoir que le délinquant ne le réparera pas, le juge allouera au lésé notamment les objets et valeurs confisqués ou les créances compensatrices.
Lorsque le produit original de l'infraction formé de valeurs destinées à circuler, telles que billets de banque, devises, effets de change, chèques ou avoirs en compte, a été transformé à une ou plusieurs reprises en des supports de même nature, il reste confiscable dans la mesure où son origine et ses mouvements peuvent être clairement établis (ATF 122 IV 365 consid. 2b p. 374; 126 I 97 consid. 3c/cc p. 107; arrêt 6S.667/2000 du Tribunal fédéral du 19 février 2001 consid. 3b/bb publié à la SJ 2001 I p. 330).
5.2 Les critiques du recourant sont irrecevables, dans la mesure où celui-ci s'écarte des constatations cantonales. Tel est notamment le cas lorsqu'il prétend que les montants séquestrés proviennent du produit d'escroqueries et que les commerçants indiens sont de mauvaise foi.
Selon l'arrêt attaqué et le jugement de première instance auquel se réfère l'autorité de recours, l'ampleur des transactions effectuées sur le compte de la G._ rend impossible l'établissement du trajet exact des montants investis sur ce compte par le recourant. En effet, plusieurs dizaines de milliers de US $ transitaient chaque jour sur le compte de cette société auprès de la Banque H._ à Londres. Les fonds provenaient de toutes les parties du monde et repartaient également dans toutes les directions, ne restant parfois que quelques heures sur le compte bancaire londonien. De plus, les dates des versements effectués par le recourant sont éloignées de plusieurs semaines, voire de plusieurs mois, des virements effectués en faveur des commerçants indiens. Il en va de même du paiement des primes de la police d'assurance-vie au nom de D._. Il ressort donc de ces éléments que le cheminement exact et documenté des montants versés par le recourant sur le compte de G._ n'est pas établi en rapport avec les versements opérés en faveur des comptes X._ de B._ et C._ et de l'assurance-vie au nom de D._. Dans ces conditions, la Cour de cassation n'a pas violé le droit fédéral en retenant que les montants séquestrés ne pouvaient être confisqués.
6. Le pourvoi est ainsi rejeté dans la mesure où il est recevable. Comme il était d'emblée dénué de chances de succès, l'assistance judiciaire ne peut être accordée (art. 152 al. 1 OJ) et le recourant, qui succombe, supportera les frais (art. 278 al. 1 PPF), fixés en fonction de sa situation financière.
Il n'y a pas lieu d'allouer des dépens aux intimés, qui n'ont été invités à se déterminer que sur l'octroi de l'effet suspensif.
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
3. Les requêtes d'assistance judiciaire sont rejetées.
3. Les requêtes d'assistance judiciaire sont rejetées.
4. Un émolument judiciaire de 1'600 francs est mis à la charge du recourant.
4. Un émolument judiciaire de 1'600 francs est mis à la charge du recourant.
5. Il n'est pas alloué de dépens.
5. Il n'est pas alloué de dépens.
6. Le présent arrêt est communiqué en copie aux parties, au Juge d'instruction de l'arrondissement de Lausanne, au Procureur général et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 16 juin 2006
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: