Faits : A. Par ordonnance du 6 février 2014, le Ministère public de l'arrondissement de Lausanne a ordonné le classement de la procédure pénale dirigée contre A._ pour vol et diffamation ensuite de diverses plaintes et compléments de plainte déposés par X._. Il a alloué à A._ une indemnité pour tort moral de 1'000 fr., à la charge de l'Etat, dit que X._ devait rembourser cette indemnité à l'Etat et mis à la charge de X._ les frais relatifs au classement, arrêtés à 7'986 fr. 80, comprenant l'indemnité allouée au défenseur d'office de A._, par 4'546 fr. 80. B. Le 14 mai 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a admis partiellement le recours interjeté par X._ contre cette ordonnance, qu'elle a annulée dans la mesure où elle ordonnait le classement de la procédure pénale dirigée contre A._ pour diffamation et confirmée pour le surplus. Elle a renvoyé la cause au ministère public pour qu'il procède dans le sens des considérants et mis les frais de l'arrêt, arrêtés à 1'320 fr., et l'indemnité du défenseur d'office de A._, fixée à 583 fr. 20, pour moitié à la charge de X._. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens qu'il ne doit payer ni les frais d'assistance gratuite de A._ fixés à 4'546 fr. 80, ni la moitié des frais d'assistance judiciaire gratuite de A._ fixés à 583 fr. 20, ni la moitié des frais de l'arrêt du 14 mai 2014 fixés à 1'320 fr., ni les frais de procédure de 3'000 fr. et, enfin, qu'aucune indemnité pour tort moral ne doit être octroyée à A._ ou qu'elle doit être réduite à un franc symbolique.