Faits:
Faits:
A. Le 20 septembre 2002, vers 20 heures, X._ et A._ sont entrés au Café-Restaurant Z._ à Nyon, pour y boire une bière et y manger une pizza, en guise d'apéritif. Comme cette pizza leur a été servie une bonne heure plus tard, alors que, finissant leur dernière bière, ils s'apprêtaient à partir, ils ont refusé de consommer la pizza, laissant l'argent dû pour les boissons. La serveuse a rapporté la pizza au pizzaloio, B._, qui s'est dirigé vers A._ pour lui expliquer le retard de la livraison. Le ton est monté entre les deux hommes. Alors qu'il se dirigeait vers la sortie, X._ a ceinturé le serveur, C._, qui le précédait et l'a plaqué au sol. X._, A._ et C._ se sont retrouvés à terre, le premier ayant reçu une volée de coups sans pouvoir identifier ses agresseurs. Le propriétaire de l'établissement, Y._, serait alors intervenu pour séparer les trois protagonistes. X._ a souffert d'une plaie à la pommette gauche, de plusieurs contusions au visage et d'un traumatisme mineur du genou gauche.
A. Le 20 septembre 2002, vers 20 heures, X._ et A._ sont entrés au Café-Restaurant Z._ à Nyon, pour y boire une bière et y manger une pizza, en guise d'apéritif. Comme cette pizza leur a été servie une bonne heure plus tard, alors que, finissant leur dernière bière, ils s'apprêtaient à partir, ils ont refusé de consommer la pizza, laissant l'argent dû pour les boissons. La serveuse a rapporté la pizza au pizzaloio, B._, qui s'est dirigé vers A._ pour lui expliquer le retard de la livraison. Le ton est monté entre les deux hommes. Alors qu'il se dirigeait vers la sortie, X._ a ceinturé le serveur, C._, qui le précédait et l'a plaqué au sol. X._, A._ et C._ se sont retrouvés à terre, le premier ayant reçu une volée de coups sans pouvoir identifier ses agresseurs. Le propriétaire de l'établissement, Y._, serait alors intervenu pour séparer les trois protagonistes. X._ a souffert d'une plaie à la pommette gauche, de plusieurs contusions au visage et d'un traumatisme mineur du genou gauche.
B. Le 1er octobre 2002, X._ a déposé une plainte pénale contre inconnu, n'ayant pas vu ses agresseurs, et contre Y._, propriétaire de l'établissement public.
Le juge de l'instruction de La Côte a rendu le 10 décembre 2003 une ordonnance de non-lieu, considérant, d'une part, que l'enquête n'avait pas permis d'identifier le ou les auteurs des lésions corporelles et, d'autre part, que les articles 133 et 134 CP étaient inapplicables en l'espèce.
Statuant le 23 janvier 2004 sur recours de X._, le Tribunal d'accusation du Tribunal cantonal vaudois a confirmé l'ordonnance attaquée.
Statuant le 23 janvier 2004 sur recours de X._, le Tribunal d'accusation du Tribunal cantonal vaudois a confirmé l'ordonnance attaquée.
C. X._ dépose un pourvoi en nullité au Tribunal fédéral contre l'arrêt du Tribunal d'accusation. Invoquant une violation des art. 123, 133 et 134 CP, il conclut à l'annulation de l'arrêt attaqué.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Aux termes de l'art. 268 ch. 2 PPF, le pourvoi en nullité à la Cour de cassation du Tribunal fédéral est ouvert contre une ordonnance de non-lieu rendue en dernière instance. Par ordonnance de non-lieu, il faut entendre toute décision qui met fin à l'action pénale, au moins sur un chef d'accusation, et qui est rendue par une autre autorité que la juridiction de jugement. Il importe peu que la décision attaquée soit qualifiée par le droit cantonal de non-lieu, de classement ou de refus de suivre (<ref-ruling> consid. 1c p. 46; <ref-ruling> consid. 1a p. 108 s.; <ref-ruling> consid. 1b p. 95). Rendue en dernière instance cantonale, la décision attaquée, qui rejette un recours contre un non-lieu, met un terme à l'action pénale. Elle constitue donc une ordonnance de non-lieu au sens de l'art. 268 ch. 2 PPF, de sorte que le pourvoi est ouvert à son encontre.
1.2 En vertu de l'art. 270 let. e ch. 1 PPF, le lésé qui est une victime d'une infraction au sens de l'<ref-law> peut exercer un pourvoi en nullité s'il était déjà partie à la procédure et dans la mesure où la sentence touche ses prétentions civiles ou peut avoir des incidences sur le jugement de celles-ci.
1.2.1 Le recourant a déjà participé à la procédure, dès lors qu'il a déposé une plainte pénale et qu'il a provoqué, par son recours, la décision attaquée. On ne saurait en outre lui reprocher de ne pas avoir pris de conclusions civiles sur le fond, puisque la procédure n'a pas été menée jusqu'à un stade qui aurait permis de le faire. Le recourant indique dans son mémoire qu'il entend réclamer à l'intimé des dommages et intérêts. Les deux premières conditions de l'art. 270 let. e PPF sont donc réalisées. Reste à examiner si l'atteinte à l'intégrité corporelle, sexuelle ou psychique présente un degré de gravité suffisant pour fonder la qualité de victime au sens de l'<ref-law>.
1.2.2 La qualification pénale d'un acte comme lésions corporelles simples ou voies de fait n'est pas déterminante pour fonder la qualité de victime. Des voies de fait peuvent suffire si elles causent une atteinte notable à l'intégrité psychique du lésé, mais il est aussi possible que des lésions corporelles simples n'entraînent, au contraire, qu'une altération insignifiante de l'intégrité physique et psychique; il faut ainsi examiner de cas en cas, au regard des conséquences de l'infraction en cause, si le lésé peut légitimement invoquer un besoin de la protection prévue par la loi fédérale (<ref-ruling> consid. 2a/aa p. 268, consid. 2e p. 271; <ref-ruling> consid. 2d/aa-bb p. 162). Ainsi, quelques hématomes, sans blessure ni fracture ni autre lésion particulièrement douloureuse et gênante, ne constituent pas une atteinte suffisante pour fonder la qualité de victime (arrêt du Tribunal fédéral du 17 octobre 2001, 1P.622/2001). En revanche, un coup à la tête entraînant une chute, une perte de connaissance et quatre points de suture présente une gravité suffisante pour justifier la légitimation pour recourir de la victime (arrêt du Tribunal fédéral du 24 novembre 2001, 1P.368/2003).
En l'occurrence, le recourant a souffert d'une plaie à la pommette gauche et de contusions au visage qui ont nécessité la pose d'un steri strip et une colle de la plaie. Selon le certificat médical, qu'il a lui-même produit, il souffrait d'un traumatisme mineur du genou persistant modérément le 10 février 2003. L'affaire apparaît donc bénigne. On peut dès lors sérieusement se demander si elle a causé une atteinte d'une gravité suffisante au bien-être du recourant pour fonder la qualité de victime. Cette question peut cependant rester indécise, dès lors que le pourvoi doit être rejeté (cf. consid. 2 ci-après).
1.3 Le pourvoi en nullité n'est recevable que pour violation du droit fédéral (art. 269 al. 1 PPF). Il ne peut être présenté de griefs contre les constatations de fait, ni de faits, exceptions, dénégations et preuves nouveaux, ni d'observations sur la violation du droit cantonal (art. 273 al. 1 let. b PPF). Le recourant ne saurait dès lors reprocher à l'autorité cantonale, par la voie du pourvoi, d'avoir arbitrairement retenu ou omis de retenir certains faits, ni faire valoir qu'un complément d'instruction aurait dû être ordonné en application du droit cantonal.
1.4 Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral sur la base exclusive de l'état de fait définitivement arrêté par l'autorité cantonale (art. 277bis PPF). Le raisonnement juridique doit se fonder sur les faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter.
1.4 Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral sur la base exclusive de l'état de fait définitivement arrêté par l'autorité cantonale (art. 277bis PPF). Le raisonnement juridique doit se fonder sur les faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter.
2. Le recourant reproche à l'autorité cantonale de ne pas avoir appliqué les art. 123, 133 et 134 CP aux faits de la cause.
2.1 Une condamnation pour lésions corporelles au sens de l'<ref-law> ne peut être prononcée qu'à l'encontre d'une personne déterminée. Or, selon l'arrêt attaqué, l'enquête n'a pas permis d'établir qui avait frappé le recourant, alors qu'il se trouvait à terre. Sur la base des faits constatés, l'autorité cantonale ne pouvait donc retenir une quelconque infraction pour les coups reçus par le recourant, que ce soit les lésions corporelles simples (<ref-law>) ou les voies de fait (<ref-law>). Mal fondé, le grief du recourant doit être rejeté.
2.2 L'<ref-law> réprime le fait de prendre part à une rixe ayant entraîné la mort d'une personne ou une lésion corporelle. La rixe est une altercation physique réciproque entre au moins trois personnes qui y participent activement. Est un participant celui qui frappe un autre protagoniste.
En l'espèce, les constatations cantonales ne permettent pas de déterminer les personnes qui ont pris une part active à la bagarre. Le patron de l'établissement se serait borné à séparer les protagonistes, comportement qui n'est pas punissable (<ref-law>). A._ et le serveur, C._, se sont retrouvés au sol, mais il n'a pas été retenu qu'ils se sont livrés à un acte de violence. Le recourant reproche à l'autorité cantonale d'avoir mélangé la question de la participation à une rixe avec celle de la punissabilité des participants. On ne saurait toutefois punir pour rixe des personnes dont on ignore si elles ont échangé des coups et pris ainsi une part active à la bagarre. Au vu des faits constatés, il convient donc d'admettre que C._, A._ et Y._ n'ont pas participé à une rixe au sens de l'<ref-law>. Dans la mesure où il est recevable, le grief du recourant doit donc être rejeté.
2.3 L'<ref-law> punit de l'emprisonnement pour cinq ans au plus celui qui aura participé à une agression dirigée contre une ou plusieurs personnes au cours de laquelle l'une d'entre elles ou un tiers aura trouvé la mort ou subi une lésion corporelle. L'agression se caractérise comme une attaque unilatérale; plusieurs personnes (au moins deux) s'en prennent à une victime qui reste passive.
En l'espèce, il ressort de l'arrêt attaqué que le recourant a pris l'initiative de l'altercation en plaquant le serveur au sol. Dans la mesure où le recourant fait valoir qu'il a agi sous le coup de la légitime défense, afin de parer à ce qu'il pouvait légitimement considérer comme une attaque du serveur et d'un autre membre du personnel du restaurant contre son ami, il s'écarte de l'état de fait retenu par l'autorité cantonale, et son grief est irrecevable. L'arrêt attaqué ne constate en effet pas que le serveur et un autre membre du personnel auraient eu un geste pouvant être qualifié d'agression. En conséquence, c'est à juste titre que l'autorité cantonale a renoncé à appliquer l'<ref-law>. Dans la mesure où il est recevable, le grief du recourant doit donc être rejeté.
En l'espèce, il ressort de l'arrêt attaqué que le recourant a pris l'initiative de l'altercation en plaquant le serveur au sol. Dans la mesure où le recourant fait valoir qu'il a agi sous le coup de la légitime défense, afin de parer à ce qu'il pouvait légitimement considérer comme une attaque du serveur et d'un autre membre du personnel du restaurant contre son ami, il s'écarte de l'état de fait retenu par l'autorité cantonale, et son grief est irrecevable. L'arrêt attaqué ne constate en effet pas que le serveur et un autre membre du personnel auraient eu un geste pouvant être qualifié d'agression. En conséquence, c'est à juste titre que l'autorité cantonale a renoncé à appliquer l'<ref-law>. Dans la mesure où il est recevable, le grief du recourant doit donc être rejeté.
3. Au vu de ce qui précède, le pourvoi doit être rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (art. 278 al. 1 PPF; art. 156 al. 1 OJ). Il n'y a pas lieu d'allouer d'indemnité à l'intimé qui n'a pas déposé de mémoire dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté dans la mesure où il est recevable.
1. Le pourvoi est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 francs est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 francs est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, à l'intimé, au Juge d'instruction du canton de Vaud et au Tribunal d'accusation du Tribunal cantonal vaudois.
Lausanne, le 9 juin 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: