Faits: Faits: A. Par jugement du 13 février 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné R. Z._, pour rixe, lésions corporelles simples qualifiées, dommages à la propriété et ivresse au volant, à dix-huit mois d'emprisonnement (sous déduction de dix-sept jours de détention préventive) et à 500 francs d'amende, avec sursis et délai d'épreuve en vue de radiation pendant cinq ans, et a ordonné son expulsion de Suisse pour huit ans, avec sursis pendant cinq ans. Le tribunal a rejeté les conclusions civiles prises par R. Z._ à l'encontre de B. C._, D. C._, E. C._, H._, I._, J._, K._ et L._. Par le même jugement, le tribunal a par ailleurs prononcé diverses condamnations pénales envers les personnes précitées. En bref, il ressort les éléments suivants de ce jugement: R. Z._, né en 1962 au Maroc, s'est établi en Suisse en 1990. Il est l'époux d'une compatriote, divorcée et mère d'une fillette. F. C._, de nationalité libyenne, s'est établi en Suisse en 1991. Son épouse et ses trois fils (E. C._, né en 1978, B. C._, né en 1979 et D. C._, né en 1981) l'ont rejoint la même année. En 1998, les familles C._ et Z._, qui habitaient le même immeuble, ont sympathisé et noué des relations très fortes jusqu'au printemps 1999, par l'intermédiaire des deux épouses. Un premier incident s'est produit lorsque dame C._ a informé S. Z._ que son époux R. Z._ avait profité de son absence au Maroc pour faire dormir une parente éloignée au domicile conjugal. Une tension manifeste s'est installée entre les époux Z._. Le 18 mai 1999, les époux C._ se sont rendus sur le lieu de travail de N._, l'ex-mari de S. Z._. F. C._ a informé celui-ci que R. Z._ battait sa femme, rudoyait la petite O._, fille de N._, et avait même sexuellement abusé d'elle. N._ a immédiatement pris contact avec son ex-épouse. Le tribunal a relevé qu'aucun élément n'avait permis d'établir la véracité des accusations portées contre R. Z._. Toujours le 18 mai 1999, en soirée, R. Z._ a attaqué les époux C._, leur fils B. C._ et une amie, à leur sortie de voiture. Il a donné un violent coup de pied dans la poitrine de dame C._, qui s'est évanouie. Puis il a saisi un couteau qu'il dissimulait dans son dos à sa ceinture et a donné un coup au visage de F. C._, lui causant une plaie à la lèvre supérieure. Il a également endommagé la voiture. A la suite de ces événements, l'ambiance s'est fortement dégradée. Le 31 juillet 1999, D. C._ et B. C._ se sont rendus en compagnie de H._sur un chantier où ils ont pris un tuyau métallique, une hache et deux bâtons en bois, qu'ils ont taillés pour en faire de longues matraques. Les deux frères ont informé leur frère E. C._et des amis du but recherché, soit agresser en groupe R. Z._ pour lui donner une leçon. Ils n'entendaient pas blesser gravement celui-ci, sans exclure un contact physique. Alors que R. Z._ était parti à la mosquée, située à proximité de son domicile, le groupe s'est mis en place pour l'attaque. Un trio formé de B. C._, D. C._ et K._ s'est embusqué dans l'encoignure d'un immeuble. Les deux premiers étaient armés respectivement d'une matraque en bois et d'une barre de fer, le troisième d'un couteau-papillon. Un second groupe composé de E. C._ (armé d'un spray au poivre), J._, L._ et I._ (muni d'une matraque en bois) s'est placé à une centaine de mètres de l'immeuble, à un endroit qui permettrait de barrer le passage à R. Z._ en cas de fuite. Vers 23 heures, celui-ci a quitté la mosquée. Arrivé vers l'immeuble, le trio s'est élancé sur lui. R. Z._ a immédiatement pris conscience de la situation, il a fait demi-tour pour aller se réfugier dans la mosquée et a appelé au secours. K._ l'a rattrapé et lui a asséné un coup de poing au visage. Une échauffourée s'est engagée. R. Z._ est parvenu à saisir un couteau de cuisine long de 30 cm, dissimulé comme à l'accoutumée à sa ceinture dans son dos, et a porté un coup dans le ventre de son agresseur. Il a agi dans un geste défensif, pour neutraliser K._, sans enfoncer le couteau dans le corps. Ce dernier a cessé le combat. R. Z._ en a profité pour reprendre sa fuite. Après quelques mètres, il s'est retourné vers ses assaillants en leur disant "venez, venez". A ce stade, il n'avait pas encore vu l'autre groupe. Alors qu'il s'avançait couteau à la main, il s'est retrouvé face à J._, de l'autre groupe. Celui-ci l'a saisi par le bras. R. Z._ a tenté de se dégager en portant un coup de couteau au ventre, que J._ a esquivé. Il n'a été que légèrement blessé par la lame. Il a toutefois trébuché aux pieds de R. Z._. E. C._ s'est alors approché et a fait usage de son spray au poivre. B. C._ et D. C._ sont aussi arrivés. Craignant que R. Z._ ne blesse J._ au sol, ils lui ont asséné de nombreux coups. R. Z._ a fini par tomber. Il a continué à prendre des coups une fois à terre. Il a encore eu le réflexe de jeter son couteau dans un saut-de-loup proche, dans l'espoir d'échapper aux enquêteurs. Il a souffert d'un traumatisme cranio-cérébral avec perte de connaissance, de plaies du cuir chevelu, d'un pneumothorax gauche sur fracture de la septième côte, d'une fracture ouverte du radius gauche, d'une fracture du premier métacarpien de la main gauche et d'un arrachement de la plaque palmaire de l'articulation du troisième doigt de la main gauche. Sa vie n'a pas été mise en danger, en particulier du fait de l'intervention rapide des secours appelés par des voisins. Après quelques mètres, il s'est retourné vers ses assaillants en leur disant "venez, venez". A ce stade, il n'avait pas encore vu l'autre groupe. Alors qu'il s'avançait couteau à la main, il s'est retrouvé face à J._, de l'autre groupe. Celui-ci l'a saisi par le bras. R. Z._ a tenté de se dégager en portant un coup de couteau au ventre, que J._ a esquivé. Il n'a été que légèrement blessé par la lame. Il a toutefois trébuché aux pieds de R. Z._. E. C._ s'est alors approché et a fait usage de son spray au poivre. B. C._ et D. C._ sont aussi arrivés. Craignant que R. Z._ ne blesse J._ au sol, ils lui ont asséné de nombreux coups. R. Z._ a fini par tomber. Il a continué à prendre des coups une fois à terre. Il a encore eu le réflexe de jeter son couteau dans un saut-de-loup proche, dans l'espoir d'échapper aux enquêteurs. Il a souffert d'un traumatisme cranio-cérébral avec perte de connaissance, de plaies du cuir chevelu, d'un pneumothorax gauche sur fracture de la septième côte, d'une fracture ouverte du radius gauche, d'une fracture du premier métacarpien de la main gauche et d'un arrachement de la plaque palmaire de l'articulation du troisième doigt de la main gauche. Sa vie n'a pas été mise en danger, en particulier du fait de l'intervention rapide des secours appelés par des voisins. B. Par arrêt du 11 août 2003, dont les considérants écrits ont été envoyés aux parties le 13 janvier 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de R. Z._. B. Par arrêt du 11 août 2003, dont les considérants écrits ont été envoyés aux parties le 13 janvier 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de R. Z._. C. Celui-ci forme un recours de droit public et un pourvoi en nullité au Tribunal fédéral contre cet arrêt. Il conclut à son annulation. Invité à se déterminer sur le pourvoi en nullité, le Ministère public vaudois conclut à son rejet.