Faits: Faits: A. Par jugement du 18 décembre 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour infraction grave à la loi fédérale sur les stupéfiants à la peine de huit ans de réclusion, sous déduction de la détention préventive. Cette condamnation a été prononcée dans le cadre d'un jugement sur relief, X._ ayant une première fois été condamné par le même tribunal, statuant par défaut, à une peine de neuf ans de réclusion. Par arrêt du 5 mars 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et confirmé le jugement du 18 décembre 2003. Par arrêt du 5 mars 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et confirmé le jugement du 18 décembre 2003. B. En résumé, la condamnation de X._ repose sur les faits suivants: Entre le mois de janvier et le 24 août 1999, avec une interruption entre la mi-mars et le début juillet, X._ s'est livré à un important trafic de stupéfiants, qui portait à tout le moins sur 1'693,50 grammes d'héroïne. Il avait une position dominante dans le réseau, qu'il avait lui-même mis en place avec son frère A._. Agissant en qualité de grossiste, il se chargeait de transporter la drogue de Zurich à Lausanne, s'occupait ensuite de son conditionnement et du coupage et recourait à des revendeurs pour la vente au détail. Son frère A._ a été condamné à six ans de réclusion pour la vente d'un kilo d'héroïne au minimum; il a en outre vendu une vingtaine de boulettes de cocaïne et remis gratuitement une même quantité. Son frère A._ a été condamné à six ans de réclusion pour la vente d'un kilo d'héroïne au minimum; il a en outre vendu une vingtaine de boulettes de cocaïne et remis gratuitement une même quantité. C. X._ se pourvoit en nullité au Tribunal fédéral contre l'arrêt cantonal. Invoquant une violation des art. 63 CP et 19 LStup, il conclut à l'annulation de la décision attaquée. En outre, il sollicite l'assistance judiciaire.