Faits:
Faits:
A. X._, né en 1969, consomme de la drogue depuis 1987. De 1992 à 1995, il s'est livré à un trafic de stupéfiants d'une grande ampleur, qui a porté sur 590 grammes d'héroïne, 56 grammes de cocaïne et 250 kilos de haschisch, et a ainsi réalisé un chiffre d'affaires dépassant 100'000 francs. Pour ces faits, le Tribunal correctionnel du district de Nyon l'a condamné le 13 novembre 1996, en application des art. 19 ch. 2 let. a et c et <ref-law>, à la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive. Les juges ont décidé, non sans hésitations, "de donner encore une chance à X._, qui para[issait] s'être ressaisi et qui a[vait] surtout démontré qu'il était capable de travailler normalement et sérieusement" et ils ont suspendu la peine au profit de la poursuite d'un traitement ambulatoire en application de l'<ref-law>. Ils ont en revanche révoqué deux sursis antérieurs et ordonné l'exécution des peines d'un mois et de trois mois d'emprisonnement, lesquelles ont été subies en 1997.
A. X._, né en 1969, consomme de la drogue depuis 1987. De 1992 à 1995, il s'est livré à un trafic de stupéfiants d'une grande ampleur, qui a porté sur 590 grammes d'héroïne, 56 grammes de cocaïne et 250 kilos de haschisch, et a ainsi réalisé un chiffre d'affaires dépassant 100'000 francs. Pour ces faits, le Tribunal correctionnel du district de Nyon l'a condamné le 13 novembre 1996, en application des art. 19 ch. 2 let. a et c et <ref-law>, à la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive. Les juges ont décidé, non sans hésitations, "de donner encore une chance à X._, qui para[issait] s'être ressaisi et qui a[vait] surtout démontré qu'il était capable de travailler normalement et sérieusement" et ils ont suspendu la peine au profit de la poursuite d'un traitement ambulatoire en application de l'<ref-law>. Ils ont en revanche révoqué deux sursis antérieurs et ordonné l'exécution des peines d'un mois et de trois mois d'emprisonnement, lesquelles ont été subies en 1997.
B. Les rapports médicaux rendus par le Dr A._ entre le 4 août 1997 et le 15 avril 1999 soulignent la grande fragilité de X._, mais observent une amélioration lente. Toutefois, le médecin a résilié son mandat en mai 1999, invoquant notamment des abus de son patient dans l'utilisation de drogues et des manquements répétés à des rendez-vous. Par décision du 20 décembre 1999, le service pénitentiaire a sommé X._ de poursuivre son traitement auprès du Dr B._. Dans un rapport du 29 août 2000, ce médecin relève que son patient avoue une consommation épisodique, mais régulière d'héroïne en fumée, facilitée par une relation de longue date avec une jeune femme qui en consomme aussi; en outre, le patient ne travaille toujours pas. Le 19 avril 2001, le Service pénitentiaire a sommé X._ de cesser toute consommation de produits psychotropes. Comme l'intéressé a continué à consommer régulièrement de l'héroïne, le Service pénitentiaire a saisi, en date du 2 septembre 2002, le Tribunal correctionnel qui a prononcé un avertissement à l'issue de son audience du 28 novembre 2002, invitant X._ à poursuivre son traitement à la méthadone et à s'abstenir de toute consommation de drogue dure.
B. Les rapports médicaux rendus par le Dr A._ entre le 4 août 1997 et le 15 avril 1999 soulignent la grande fragilité de X._, mais observent une amélioration lente. Toutefois, le médecin a résilié son mandat en mai 1999, invoquant notamment des abus de son patient dans l'utilisation de drogues et des manquements répétés à des rendez-vous. Par décision du 20 décembre 1999, le service pénitentiaire a sommé X._ de poursuivre son traitement auprès du Dr B._. Dans un rapport du 29 août 2000, ce médecin relève que son patient avoue une consommation épisodique, mais régulière d'héroïne en fumée, facilitée par une relation de longue date avec une jeune femme qui en consomme aussi; en outre, le patient ne travaille toujours pas. Le 19 avril 2001, le Service pénitentiaire a sommé X._ de cesser toute consommation de produits psychotropes. Comme l'intéressé a continué à consommer régulièrement de l'héroïne, le Service pénitentiaire a saisi, en date du 2 septembre 2002, le Tribunal correctionnel qui a prononcé un avertissement à l'issue de son audience du 28 novembre 2002, invitant X._ à poursuivre son traitement à la méthadone et à s'abstenir de toute consommation de drogue dure.
C. A la suite d'un rapport du 16 mai 2003 du médecin traitant, qui constatait à nouveau une grave dépendance à l'héroïne, le Service pénitentiaire a saisi le Tribunal correctionnel de l'arrondissement de la Côte par courrier du 2 juin 2003. Ce tribunal a renoncé à révoquer la suspension de l'exécution de la peine prononcée en 1996, considérant que l'exécution d'une peine de cinq ans de réclusion, quelque sept ans après la condamnation paraissait disproportionnée. Les juges relèvent que l'intéressé n'a pas récidivé dans la délinquance et a tout de même tenté de s'en sortir, ne rechutant gravement qu'en 2002. Selon le tribunal, X._ entre actuellement dans la catégorie des gens qu'il faudrait aider à mener une autre existence et qui sont incapables de renoncer à la drogue, et non plus dans celle des délinquants.
C. A la suite d'un rapport du 16 mai 2003 du médecin traitant, qui constatait à nouveau une grave dépendance à l'héroïne, le Service pénitentiaire a saisi le Tribunal correctionnel de l'arrondissement de la Côte par courrier du 2 juin 2003. Ce tribunal a renoncé à révoquer la suspension de l'exécution de la peine prononcée en 1996, considérant que l'exécution d'une peine de cinq ans de réclusion, quelque sept ans après la condamnation paraissait disproportionnée. Les juges relèvent que l'intéressé n'a pas récidivé dans la délinquance et a tout de même tenté de s'en sortir, ne rechutant gravement qu'en 2002. Selon le tribunal, X._ entre actuellement dans la catégorie des gens qu'il faudrait aider à mener une autre existence et qui sont incapables de renoncer à la drogue, et non plus dans celle des délinquants.
D. Le Ministère public du canton de Vaud a recouru contre le jugement du Tribunal correctionnel de l'arrondissement de la Côte.
La Cour de cassation du Tribunal cantonal vaudois a cité à comparaître à son audience du 2 septembre 2003 X._, qui s'est présenté, non assisté, et qui a été entendu dans ses explications. Par arrêt du 9 février 2004, elle a admis le recours du Ministère public vaudois et réformé le jugement de première instance en ce sens qu'elle a révoqué la suspension de l'exécution de peine prononcée le 13 novembre 1996 en faveur de X._ et ordonné l'exécution de la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive, infligée par le Tribunal correctionnel du district de Nyon.
La Cour de cassation du Tribunal cantonal vaudois a cité à comparaître à son audience du 2 septembre 2003 X._, qui s'est présenté, non assisté, et qui a été entendu dans ses explications. Par arrêt du 9 février 2004, elle a admis le recours du Ministère public vaudois et réformé le jugement de première instance en ce sens qu'elle a révoqué la suspension de l'exécution de peine prononcée le 13 novembre 1996 en faveur de X._ et ordonné l'exécution de la peine de cinq ans de réclusion, sous déduction de soixante-six jours de détention préventive, infligée par le Tribunal correctionnel du district de Nyon.
E. X._ interjette un pourvoi en nullité au Tribunal fédéral contre cet arrêt. Invoquant une violation des art. 43 ch. 5 al. 1 et 44 ch. 5 CP, il conclut à l'annulation de la décision attaquée.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 L'<ref-law> prévoit que si le délinquant est toxicomane et que l'infraction commise est en rapport avec cet état, le juge peut, pour prévenir de nouveaux crimes ou délits, l'interner dans un établissement pour toxicomanes ou dans un établissement hospitalier ou ordonner un traitement ambulatoire. De façon générale, le traitement médical ordonné par le juge pénal est levé lorsqu'il a atteint son but ou qu'il ne peut l'atteindre. S'il s'agit d'un toxicomane, la mesure doit être considérée comme réussie non seulement en cas d'abstinence totale, mais également en cas de resocialisation du délinquant, notamment sur le plan professionnel (Trechsel, Kurzkommentar, Schweizerisches Strafgesetzbuch, 2e éd., Zurich 1997, n. 23 ad art. 43).
Le recourant soutient que le traitement ambulatoire ordonné le 13 novembre 1996 a réussi, dès lors qu'il n'est pas retombé dans la délinquance et que, partant, la prévention de nouvelles infractions est atteinte. Son argumentation ne saurait être suivie. En effet, la cour cantonale a constaté que le recourant est incapable de travailler et qu'il consomme régulièrement de l'héroïne, ce qui constitue une contravention. Dans ces circonstances, le traitement ambulatoire, qui devait permettre au recourant de se réinsérer professionnellement et d'abandonner la drogue, doit être considéré comme un échec.
Le recourant fait valoir que la peine ne saurait plus être exécutée sept ans après la condamnation. Il est vrai que le délai qui sépare la suspension de peine de la décision de révocation est relativement long. En cas d'exécution d'une mesure de sûreté, le délai de prescription de la peine court cependant du jour où l'exécution de la peine est ordonnée (<ref-law>). En conséquence, la peine suspendue n'est pas prescrite et peut être exécutée. En outre, si une partie de la doctrine estime, par analogie avec les règles sur le traitement institutionnel, que le traitement ne devrait pas dépasser deux ans et six ans en cas de réintégration (<ref-law>; Schultz, Einführung in den allgemeinen Teil des Strafrechts, vol. II, 4 éd., Berne 1982, p. 171; Ursula Frauenfelder, Die ambulante Behandlung geistig Abnormer und Süchtiger als strafrechtliche Massnahme nach Art. 43 und 44 StGB, thèse Zurich 1978, p. 160), la loi actuelle ne fixe pas de durée maximale pour le traitement ambulatoire (Stratenwerth, Schweizerisches Strafrecht, Allgemeiner Teil II, Berne 1989, n. 44 ad § 12). On ne saurait dès lors reprocher aux autorités cantonales de ne pas avoir mis fin au traitement plus tôt.
1.2 Le législateur n'indique pas ce que doit faire le juge en cas d'inefficacité du traitement ambulatoire. Selon la jurisprudence, l'art. 43 ch. 3 al. 2 et 3 CP, qui règle les mesures concernant les délinquants anormaux, s'applique par analogie (<ref-ruling> consid. 2a p. 228 s.). Ainsi, lorsque le traitement ambulatoire a échoué ou qu'il paraît inefficace, le juge doit examiner, avant de statuer sur l'exécution de la peine suspendue, s'il convient d'ordonner une mesure analogue, une autre mesure ambulatoire ou encore un placement ou un internement (<ref-ruling> consid. 2b in fine p. 230). Lorsque les mesures de sûreté revêtent un caractère thérapeutique ou éducatif, le juge doit en effet donner la préférence aux mesures de sûreté par rapport aux peines.
L'<ref-law> oblige le juge à ordonner l'examen de l'inculpé si une information sur son état physique ou mental est nécessaire pour décider une mesure de sûreté (cf. aussi <ref-law>). Si la loi prévoit que le juge doit au besoin recourir à une expertise pour prononcer une mesure de sûreté, aucune disposition ne prévoit en revanche qu'il doit ordonner une expertise lorsqu'il doit décider de la révocation de la suspension de la peine. Il y a cependant lieu d'admettre que le juge, qui examine s'il doit ordonner une autre mesure de sûreté à la suite de l'échec d'un traitement ambulatoire, n'est à même de déterminer si les conditions prévues pour cette autre mesure (art. 42 à 44 CP) sont remplies, que s'il dispose des éléments de base dont il avait besoin lors du premier jugement, en tant que juge du fond, pour résoudre cette question (cf. <ref-ruling> consid. 3 p. 145). En cette matière, le juge a cependant une large marge d'appréciation et n'ordonnera une expertise que si des motifs sérieux commandent d'ordonner une mesure (arrêt du Tribunal fédéral du 19 octobre 1990, 6S.340/1990, publié in SJ 1991 p. 24).
En l'espèce, une autre mesure, telle qu'un autre traitement ambulatoire ou une mesure d'internement, apparaît dépourvue de chances de succès, vu le désengagement total du recourant. X._ n'a pas su profiter de la chance initiale que constituait la suspension d'une peine dont l'exécution n'était pas totalement incompatible avec un traitement ambulatoire, et n'a pas tenu compte des mises en garde qui ont été faites. Actuellement, il n'est plus à même de se passer d'héroïne, malgré son traitement médicamenteux. Il a lui-même déclaré à son médecin qu'il n'était pas prêt à stopper complètement la consommation d'héroïne. En renonçant à ordonner une mesure et en révoquant la suspension de la peine, la cour cantonale n'a donc pas violé le droit fédéral. Une expertise sur cette question n'était pas nécessaire, et le recourant n'en a du reste requise aucune.
1.3 Il reste à déterminer dans quelle mesure la peine suspendue doit être exécutée (<ref-law> par analogie). Le traitement ambulatoire est déduit de la durée de la peine à exécuter dans la mesure où le condamné a été effectivement entravé dans sa liberté personnelle. Etant donné la différence fondamentale qui existe entre un traitement ambulatoire et l'exécution d'une peine, celui-ci ne peut être déduit de celle-ci que dans une faible mesure (<ref-ruling> consid. 4b p. 307).
En l'espèce, la cour cantonale a estimé que le traitement ambulatoire, qui consistait en un rendez-vous hebdomadaire au cabinet médical, avec distribution de méthadone et un bref entretien, n'avait pas apporté de restrictions suffisamment importantes à la liberté personnelle du recourant pour justifier une imputation sur la peine. Elle a donc ordonné l'exécution de la peine de cinq ans de réclusion, sous déduction de la détention préventive effectuée. Ce faisant, elle n'a pas outrepassé le large pouvoir dont elle jouit pour apprécier l'étendue de l'imputation (cf. <ref-ruling> consid. 4b p. 307).
En l'espèce, la cour cantonale a estimé que le traitement ambulatoire, qui consistait en un rendez-vous hebdomadaire au cabinet médical, avec distribution de méthadone et un bref entretien, n'avait pas apporté de restrictions suffisamment importantes à la liberté personnelle du recourant pour justifier une imputation sur la peine. Elle a donc ordonné l'exécution de la peine de cinq ans de réclusion, sous déduction de la détention préventive effectuée. Ce faisant, elle n'a pas outrepassé le large pouvoir dont elle jouit pour apprécier l'étendue de l'imputation (cf. <ref-ruling> consid. 4b p. 307).
2. Au vu de ce qui précède, le pourvoi doit être rejeté. Succombant, le recourant doit supporter les frais judiciaires (art. 278 al. 1 PPF; art. 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté.
1. Le pourvoi est rejeté.
2. Un émolument judiciaire de 2'000 francs est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 francs est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, au Ministère public du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 11 juin 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: