Faits : A. Par ordonnance pénale du 14 janvier 2014, le Ministère public de l'arrondissement de l'Est vaudois a déclaré X._ coupable d'insoumission à une décision de l'autorité, l'a condamné à une amende de 800 fr. et a mis les frais de procédure à sa charge. Il lui était reproché d'avoir donné l'ordre à ses employés, le 14 novembre 2013, d'arracher plusieurs pieds de vigne sur une parcelle de la commune de Lutry, nonobstant l'ordonnance de mesures superprovisionnelles du 12 novembre 2013 rendue par la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois ordonnant à sa société de cesser immédiatement, sous commination de la sanction prévue par l'art. 292 CP, tous travaux d'arrachage. B. X._, par l'intermédiaire de son conseil, a formé opposition contre cette ordonnance. Par ordonnance du 7 mai 2014, le Ministère public de l'arrondissement de l'Est vaudois a ordonné le classement de la procédure pénale dirigée contre X._ pour insoumission à une décision de l'autorité, a rejeté sa demande d'indemnité et a laissé les frais à la charge de l'Etat. C. Par arrêt du 28 juillet 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé contre l'ordonnance du 7 mai 2014 par X._, qui réclamait une indemnité pour ses frais d'intervention de première instance et de deuxième instance. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que lui sont allouées une indemnité de 1'204 fr. 20, avec intérêt à 5% l'an dès le 7 mai 2014, pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure de première instance et une indemnité de 1'296 fr., avec intérêt à 5% l'an dès le 21 mai 2014, pour l'exercice raisonnable de ses droits de procédure devant l'autorité précédente. Subsidiairement, il requiert l'annulation de l'arrêt attaqué et le renvoi de la cause au Tribunal cantonal vaudois pour nouvelle décision dans le sens des considérants. La cour cantonale s'est référée à son arrêt. Le ministère public a renoncé à se déterminer et a conclu au rejet du recours.