Faits :
A.
Le 8 août 2016, A._ a déposé plainte contre X._. Il lui reprochait en substance de lui avoir asséné, au cours d'une altercation qui s'était déroulée le 24 juin 2016 à B._, un coup de poing au visage lui ayant occasionné des douleurs et des tuméfactions sur la partie gauche du visage ainsi que des griffures. Il faisait également grief à X._ de lui avoir adressé à cette occasion un doigt d'honneur.
A la suite de cette plainte, le Ministère public de l'arrondissement de La Côte a ouvert une instruction pénale contre X._ pour voies de fait et injures.
B.
Par ordonnance du 24 mai 2017, le Ministère public a classé la procédure pénale, laissant les frais à la charge de l'Etat et refusant à A._ l'allocation d'une indemnité au sens de l'<ref-law>.
Par arrêt du 19 septembre 2017, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre cette ordonnance de classement.
La cour cantonale a constaté que, s'il était impossible de déterminer avec exactitude le déroulement de l'altercation, il apparaissait néanmoins que le coup de poing et le doigt d'honneur adressés par le prévenu au plaignant constituaient une riposte aux agissements de ce dernier, qui avait également joué un rôle actif dans la dispute en adressant un coup de pied au prévenu, en le bousculant et en le traitant de "fils de pute" et de "petite merde". Ces circonstances justifiaient l'application de l'<ref-law>, qui prévoit l'exemption de peine pour l'injurié qui riposte immédiatement par une injure ou des voies de fait. Elles justifiaient donc également le classement de la procédure pour le motif prévu par l'art. 319 al. 1 let. e CP, selon lequel le classement doit être ordonné lorsqu'on peut renoncer à toute poursuite ou à toute sanction en vertu de dispositions légales.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision en vue de procéder aux mesures d'instruction qu'il avait requises et à la mise en accusation de X._ pour lésions corporelles simples, subsidiairement pour voies de fait, ainsi que pour injures.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
En vertu de l'<ref-law>, il incombe à la partie recourante d'alléguer les faits qu'elle considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4).
1.2. Outre le remboursement des frais d'avocat - qui de jurisprudence constante ne constituent pas des prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 LTF (cf. parmi tant d'autres : arrêt 6B_874/2017 du 18 avril 2018 consid. 2.2.3) -, le recourant demande l'allocation d'une indemnité de 1000 fr. en réparation de son tort moral.
1.2.1. En vertu de l'<ref-law>, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles une indemnité équitable à titre de réparation morale. Les circonstances particulières à prendre en compte se rapportent à l'importance de l'atteinte à la personnalité du lésé, l'<ref-law> étant un cas d'application de l'<ref-law>. Les lésions corporelles, qui englobent tant les atteintes physiques que psychiques, doivent donc en principe impliquer une importante douleur physique ou morale ou avoir causé une atteinte durable à la santé. Parmi les circonstances qui peuvent, selon les cas, justifier l'application de l'<ref-law>, figurent une longue période de souffrance ou d'incapacité de travail, de même que les préjudices psychiques importants (arrêt 6B_128/2017 du 9 novembre 2017 consid. 5.1; cf. <ref-ruling> consid. 11.2 p. 98; <ref-ruling> consid. 2.2.2 p. 119).
1.2.2. Il ressort de l'arrêt entrepris qu'à la suite de son altercation avec l'intimé, le recourant a souffert de douleurs et de tuméfactions au visage ainsi que de griffures au bras gauche. Si ces blessures avaient été attestées par le médecin traitant du recourant le lendemain des faits (cf. dossier cantonal, P. 7/3), la cour cantonale a toutefois estimé qu'elles étaient de nature à se résorber rapidement, de sorte qu'elles n'entraient pas dans le champ d'application des lésions corporelles simples (<ref-law>), mais dans celui des voies de fait (<ref-law>).
1.2.3. Compte tenu de la nature des blessures subies par le recourant, on ne saurait déduire directement de l'état de fait cantonal l'existence de circonstances particulières pouvant justifier l'allocation d'une indemnité pour tort moral au sens de l'<ref-law>, étant observé que le texte de cette disposition vise la "victime de lésions corporelles" et non celle de voies de fait.
Si le recourant conteste l'appréciation de la cour cantonale quant à la qualification juridique de ses blessures et soutient que l'intimé s'est rendu coupable de lésions corporelles simples, il n'explique pas pour autant en quoi l'atteinte subie à son intégrité physique ou psychique a eu des conséquences telles qu'elles justifiaient l'allocation d'une indemnité pour tort moral. Le recourant n'allègue notamment pas avoir été hospitalisé à la suite de l'altercation, ni avoir été en incapacité de travail. Il ne prétend pas non plus avoir souffert de douleurs particulièrement importantes, d'une atteinte durable à sa santé physique ou de préjudices d'ordre psychique ayant nécessité un suivi médical allant au-delà d'une simple consultation chez son médecin traitant.
1.2.4. Par ailleurs, le recourant n'explique pas en quoi il aurait été victime, en raison des agissements de l'intimé, d'une autre atteinte à sa personnalité, par exemple d'une atteinte à son honneur, qui soit suffisamment grave pour qu'elle justifie une indemnité pour tort moral fondée sur l'<ref-law>. On ne saurait quoi qu'il en soit déduire des faits retenus par la cour cantonale que le recourant a subi une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'il s'adresse au juge pour en obtenir réparation (cf. arrêt 6B_185/2013 du 22 janvier 2014 consid. 2.2 et la jurisprudence citée).
1.3. En définitive, l'absence d'explications suffisantes sur la question des prétentions civiles exclut la qualité pour recourir du recourant sur le fond de la cause.
1.4. Quant à l'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF, elle n'entre pas en considération, le recourant ne soulevant aucun grief quant à son droit de porter plainte.
2.
Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (cf. <ref-ruling> consid. 1.1 p. 5).
2.1. En l'occurrence, le recourant se prévaut d'une violation par la cour cantonale de l'obligation de motiver sa décision (art. 29 al. 2 Cst.). Il lui reproche de ne pas avoir examiné son grief dénonçant une contradiction dans la motivation du ministère public selon lequel le classement, s'agissant du chef de prévention de voies de fait, ne se justifiait non pas en vertu de l'<ref-law>, mais en raison du fait que l'intimé avait agi par légitime défense (<ref-law>). Or, selon le recourant, cette motivation du ministère public est arbitraire et viole le droit fédéral.
2.1.1. Le Tribunal fédéral a déduit du droit d'être entendu, consacré par l'art. 29 al. 2 Cst., le devoir pour l'autorité de motiver sa décision, afin que le justiciable puisse en saisir la portée et, le cas échéant, l'attaquer en connaissance de cause. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.2 p. 183). Il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (ATF <ref-ruling> consid. 2.2 p. 183). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée (<ref-ruling> consid. 3.2.1 p. 565).
2.1.2. En l'espèce, on peut se demander si, sous couvert d'une violation de ses droits de partie, le recourant ne fait pas valoir indirectement un moyen qui a trait au fond de l'affaire.
Quoi qu'il en soit, sous l'angle d'une violation de l'obligation de motiver, il suffit d'observer que la cour cantonale, qui dispose d'un plein pouvoir d'examen en fait et en droit (<ref-law>), a expliqué les raisons pour lesquelles, en application des <ref-law> et 319 al. 1 let. e CPP, le classement de la procédure se justifiait tant pour le chef de prévention d'injure que pour celui de voies de fait. Dans ces circonstances, on ne saurait lui reprocher de ne pas avoir examiné plus avant le bien-fondé de l'argumentation présentée par le Ministère public dans son ordonnance de classement. Au surplus, on ne distingue pas, dans les motifs de l'arrêt entrepris, de contradictions ayant empêché le recourant de saisir la portée du jugement et de l'attaquer en toute connaissance de cause. Le grief est dès lors rejeté dans la mesure où il est recevable.
2.2. Enfin, les critiques du recourant quant à l'insuffisance des mesures d'instruction ne peuvent être séparées du fond et sont ainsi irrecevables.
3.
Le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais de la cause (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 21 juin 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely