Faits: Faits: A. Par jugement du 20 novembre 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour infraction grave à la LStup et rupture de ban, à douze mois d'emprisonnement, sous déduction de la détention préventive, peine partiellement complémentaire à celle de dix-huit mois prononcée par défaut le 11 mai 1999 par le Tribunal correctionnel du district de Lausanne. Il l'a aussi expulsé du territoire suisse pour une durée supplémentaire de cinq ans. Par arrêt du 6 février 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. Par arrêt du 6 février 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. B. Cette décision retient en bref les éléments suivants. B.a X._, né en 1954 au Kosovo, est venu comme saisonnier en Suisse en 1979. Après six saisons, il s'est vu refuser la délivrance du permis B en raison d'une condamnation prononcée en 1984. Il est néanmoins resté en Suisse de manière pratiquement ininterrompue jusqu'au 1er février 1999, date de son refoulement vers Belgrade, en exécution d'une décision administrative avec interdiction d'entrer en Suisse jusqu'au 7 juin 2006. Il est alors retourné au Kosovo où il a fait la guerre, puis retravaillé à la reconstruction du pays. B.b A la fin du mois de novembre 1998, soit avant sa condamnation par défaut du 11 mai 1999, X._ a participé à la réception d'un colis de 500 g d'héroïne. Il a aidé à son conditionnement dans des sachets de 5 g avant d'aller les cacher. Il est aussi intervenu dans un différend entre vendeurs et fournisseurs de drogue. En août 2002, il a déposé une demande d'asile en France. Il est alors régulièrement venu travailler clandestinement en Suisse comme maçon pour divers employeurs, réalisant un revenu mensuel brut de l'ordre de 5'000 fr. Il a vécu chez des connaissances et des membres de sa famille, jusqu'à ce qu'il se fasse intercepter à la douane de Ferney-Voltaire le 10 mai 2003. B.c X._ a déjà fait l'objet des condamnations suivantes: - Le 23 février 1990, le Tribunal correctionnel de Nyon l'a condamné pour recel à trois mois d'emprisonnement, avec sursis pendant 3 ans et l'a expulsé de Suisse pour 5 ans, avec sursis pendant 3 ans. _ Le 5 novembre 1992, le Juge instructeur de Lausanne lui a infligé 20 jours d'emprisonnement pour infraction à la loi fédérale sur le séjour et l'établissement des étrangers (LSEE). - Le 24 mai 1995, le Tribunal de police de Lausanne l'a condamné à deux mois d'emprisonnement et a ordonné son expulsion pour une durée de 10 ans. Il l'a reconnu coupable de lésions corporelles simples, injure, menaces et infraction à la LSEE. - Par jugement rendu par défaut le 11 mai 1999, le Tribunal correctionnel de Lausanne l'a condamné à 18 mois d'emprisonnement et 10 ans d'expulsion du territoire suisse pour contravention à la loi fédérale sur les toxiques, contravention à la loi vaudoise sur le commerce des armes, munitions et explosifs et sur le port et la détention d'armes, infraction à la LStup, mise en danger de la vie d'autrui et violence ou menaces contre les autorités et les fonctionnaires. Lors de sa détention préventive, X._ a reçu un avertissement en août 2003 et subi en octobre 2003 une peine disciplinaire de sept jours de cellule forte pour tentative d'agression, menaces sur le personnel, insultes et comportement violent. Lors de sa détention préventive, X._ a reçu un avertissement en août 2003 et subi en octobre 2003 une peine disciplinaire de sept jours de cellule forte pour tentative d'agression, menaces sur le personnel, insultes et comportement violent. C. Invoquant une violation de l'art. 41 CP, X._ dépose un pourvoi en nullité auprès du Tribunal fédéral et conclut à l'annulation de l'arrêt cantonal du 23 février 2004. Il requiert l'assistance judiciaire.