Faits :
A.
Le 15 novembre 2012, X._ a déposé une plainte pénale contre A._ pour injure et violation du domaine secret ou du domaine privé au moyen d'un appareil de prise de vue (art. 179 quater CP). Il lui reprochait de l'avoir traité de " sale français " devant son domicile, et de l'avoir " mitraillé " avec son appareil photo alors qu'il arrosait les plantes à l'extérieur de son domicile.
B.
Par ordonnance du 7 août 2014, le Ministère public de l'arrondissement de La Côte a classé la plainte dirigée contre A._.
C.
Par arrêt du 2 septembre 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ et confirmé l'ordonnance de classement.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause au ministère public pour qu'il rende une ordonnance pénale ou procède à la mise en accusation.

Considérant en droit :
1.
1.1.
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
Selon l'<ref-law>, il incombe à la partie recourante d'alléguer les faits qu'elle considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.).
1.2. Le recourant prétend que ses prétentions civiles découlent directement de la nature de l'infraction et sans ambiguïté dès lors qu'elles sont fondées sur les <ref-law>, qui lui permettent d'obtenir des dommages-intérêts et la réparation du tort moral (<ref-law>). Or, l'ancienne jurisprudence rendue avant l'entrée en vigueur de la LTF, qui dispensait celui qui était lésé par une prétendue atteinte à l'honneur de faire valoir des prétentions civiles (cf. <ref-ruling>), n'a plus cours (cf. arrêt 6B_94/2013 du 3 octobre 2013 consid. 1.1). Il s'ensuit que les exigences de motivation susmentionnées (cf. supra consid. 1.1) sont requises à l'égard de celui qui se plaint d'infractions attentatoires à l'honneur ou contre le domaine secret ou privé soit, en l'espèce, de violation de l'<ref-law>. En l'espèce, le recourant se limite à alléguer avoir subi essentiellement un tort moral qu'il chiffre à 4'000 fr. et qu'il a dû depuis lors déménager en conséquence du harcèlement de l'intimée, ce qui a entraîné pour lui " des frais et un tort moral supplémentaire qu'il pourra chiffrer dans la suite de la procédure ". Il ne consacre cependant aucun développement à ses prétentions en tort moral qui permette de comprendre en quoi l'atteinte subie serait suffisamment grave, ni en quoi sa souffrance serait assez forte pour justifier une réparation; en effet, n'importe quelle atteinte légère à la réputation professionnelle, économique ou sociale d'une personne ne justifie pas une telle réparation (<ref-ruling> consid. 5.1 p. 704; <ref-ruling> consid. 3a p. 75). Partant, en l'absence d'explications circonstanciées permettant d'accréditer l'affirmation du recourant selon laquelle il a subi un tort moral du fait des agissements de l'intimée, la simple articulation du montant de 4'000 fr. ne permet pas de retenir qu'il aurait des prétentions civiles à faire valoir dans cette mesure. De même, il ne se détermine aucunement sur le dommage qu'il allègue, tant sur son principe que sa quotité. Enfin, le recourant ne saurait rien déduire en sa faveur lorsqu'il allègue avoir un intérêt juridique à la modification de la décision attaquée dès lors que, dans une procédure parallèle, il est accusé de voies de fait à l'encontre de l'intimée pour l'avoir aspergée avec un tuyau d'arrosage et qu'il entend plaider la légitime défense consécutive à la violation de l'intimée du domaine privé au moyen d'un appareil de prise de vues. Ce grief ne porte pas sur des prétentions civiles pouvant découler d'une infraction, mais sur les conséquences pénales qui en résultent. Pour le surplus, le recourant conserve la faculté, dans le cadre de la procédure dans laquelle il revêt la qualité de prévenu, de faire valoir l'ensemble des arguments qu'il juge pertinents pour contester sa condamnation. L'absence de toute explication circonstanciée sur ces points exclut sa qualité pour recourir sur le fond de la cause.
2.
Pour le reste, le recourant n'invoque aucune violation de son droit de porter plainte (81 al. 1 let. b ch. 6 LTF) ni ne fait valoir de violation de ses droits de partie équivalant à un déni de justice formel (cf. <ref-ruling> consid. 1.1 p. 4 et les références citées). Il ne démontre donc pas avoir qualité pour recourir au Tribunal fédéral sous ces différents angles.
3.
Sur le vu de ce qui précède, le recours doit être déclaré irrecevable. Le recourant, qui succombe, devra supporter les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 30 novembre 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj