Faits :
A.
Par ordonnance pénale du 14 janvier 2014, le Ministère public de l'arrondissement de l'Est vaudois a déclaré X._ coupable d'insoumission à une décision de l'autorité, l'a condamné à une amende de 800 fr. et a mis les frais de procédure à sa charge.
Il lui était reproché d'avoir donné l'ordre à ses employés, le 14 novembre 2013, d'arracher plusieurs pieds de vigne sur une parcelle de la commune de Lutry, nonobstant l'ordonnance de mesures superprovisionnelles du 12 novembre 2013 rendue par la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois ordonnant à sa société de cesser immédiatement, sous commination de la sanction prévue par l'art. 292 CP, tous travaux d'arrachage.
B.
X._, par l'intermédiaire de son conseil, a formé opposition contre cette ordonnance.
Par ordonnance du 7 mai 2014, le Ministère public de l'arrondissement de l'Est vaudois a ordonné le classement de la procédure pénale dirigée contre X._ pour insoumission à une décision de l'autorité, a rejeté sa demande d'indemnité et a laissé les frais à la charge de l'Etat.
C.
Par arrêt du 28 juillet 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé contre l'ordonnance du 7 mai 2014 par X._, qui réclamait une indemnité pour ses frais d'intervention de première instance et de deuxième instance.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que lui sont allouées une indemnité de 1'204 fr. 20, avec intérêt à 5% l'an dès le 7 mai 2014, pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure de première instance et une indemnité de 1'296 fr., avec intérêt à 5% l'an dès le 21 mai 2014, pour l'exercice raisonnable de ses droits de procédure devant l'autorité précédente. Subsidiairement, il requiert l'annulation de l'arrêt attaqué et le renvoi de la cause au Tribunal cantonal vaudois pour nouvelle décision dans le sens des considérants.
La cour cantonale s'est référée à son arrêt. Le ministère public a renoncé à se déterminer et a conclu au rejet du recours.

Considérant en droit :
1.
Les prétentions en indemnisation fondées sur l'art. 429 CPP peuvent faire l'objet d'un recours en matière pénale (<ref-ruling> consid. 1 p. 208).
2.
Le recourant se plaint d'une violation de l'art. 429 al. 1 let. a CPP.
2.1. Selon l'art. 429 al. 1 let. a CPP, seul ici en jeu, le prévenu acquitté totalement ou en partie ou au bénéfice d'un classement a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. L'indemnité couvre en particulier les honoraires d'avocat, à condition que le recours à celui-ci procède d'un exercice raisonnable des droits de procédure. Selon le message du Conseil fédéral, l'Etat ne prend en charge les frais de défense que si l'assistance d'un avocat était nécessaire compte tenu de la complexité de l'affaire en fait ou en droit et que le volume de travail et donc les honoraires étaient ainsi justifiés (Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1312 ch. 2.10.3.1).
L'allocation d'une indemnité pour frais de défense selon l'art. 429 al. 1 let. a CPP n'est pas limitée aux cas de défense obligatoire visés par l'art. 130 CPP. Elle peut être accordée dans les cas où le recours à un avocat apparaît tout simplement raisonnable. Il faut garder à l'esprit que le droit pénal matériel et le droit de procédure sont complexes et représentent, pour des personnes qui ne sont pas habituées à procéder, une source de difficultés. Celui qui se défend seul est susceptible d'être moins bien loti. Cela ne dépend pas forcément de la gravité de l'infraction en cause. On ne peut pas partir du principe qu'en matière de contravention, le prévenu doit supporter en général seul ses frais de défense. Autrement dit, dans le cadre de l'examen du caractère raisonnable du recours à un avocat, il doit être tenu compte, outre de la gravité de l'infraction et de la complexité de l'affaire en fait ou en droit, de la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu (<ref-ruling> consid. 2.3.5 p. 203).
Déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'art. 429 al. 1 let. a CPP peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (<ref-ruling> consid. 2.3.6 p. 204; arrêt 6B_387/2013 du 8 juillet 2013 consid. 2.1 non publié aux <ref-ruling>).
2.2. Le recourant fait valoir qu'il a consulté un avocat non pas en raison du fait qu'une enquête pénale avait été ouverte contre lui, mais uniquement après s'être vu notifier une condamnation, soit un jugement emportant culpabilité quant à des faits au sujet desquels il n'avait jamais été entendu. C'était d'ailleurs à la suite de son intervention que le recourant avait été acquitté.
En l'espèce, la cause concerne une contravention. Toutefois, comme sus-mentionné (supra consid. 2.1), on ne peut pas partir du principe qu'en matière de contravention, le prévenu doit supporter en général seul ses frais de défense; il s'agit d'examiner la complexité de l'affaire en fait ou en droit, la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu. Le recourant a été condamné à 800 fr. d'amende par ordonnance pénale, sans avoir été préalablement entendu par le ministère public. L'opposition à une ordonnance pénale par le prévenu n'a certes pas à être motivée (art. 354 al. 2 CPP). En ce qui concerne la procédure à la suite de l'opposition, celle-ci a consisté en une audition du recourant par le ministère public, lors de laquelle le recourant a produit des documents attestant qu'il n'avait pas connaissance de l'ordonnance de mesures superprovisionnelles lorsqu'il a ordonné l'arrachage des pieds de vigne. Le recourant a été contraint d'organiser sa défense en ayant été condamné sans avoir préalablement eu la possibilité de s'exprimer. Dans une telle configuration, le recours à un avocat apparaît raisonnable. La cour cantonale a violé l'art. 429 al. 1 let. a CPP en déniant au recourant le droit à être indemnisé. Le recours doit être admis et la cause renvoyée à cette autorité pour qu'elle accorde au recourant une indemnité fondée sur l'art. 429 al. 1 let. a CPP et statue à nouveau sur les frais et indemnité de deuxième instance.
3.
Le recourant, qui obtient gain de cause, ne supporte pas de frais (art. 66 al. 2 LTF) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 11 février 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj