Faits :
A.
Par jugement du 23 octobre 2013, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré X._ de l'accusation de menaces, a constaté qu'il s'est rendu coupable d'injure et l'a exempté de toute peine, a donné acte à Y._ de ses réserves civiles à l'encontre de X._ s'agissant de sa prétention en tort moral, a dit qu'il n'est pas alloué de dépens pénaux et a mis une partie des frais de la cause à la charge de X._, le solde étant laissé à la charge de l'Etat. Ce jugement faisait suite à l'opposition de X._ à l'encontre de l'ordonnance pénale rendue le 14 janvier 2013 par le Ministère public de l'arrondissement de l'Est vaudois.
B.
Par jugement du 14 février 2014, la Cour d'appel du Tribunal cantonal vaudois a partiellement admis l'appel formé par Y._, en ce sens que X._ doit verser à ce dernier des dépens pénaux de première instance de 1'500 fr., le jugement étant confirmé pour le surplus.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il n'est pas alloué de dépens pénaux à Y._ dans le cadre du jugement rendu le 23 octobre 2013 par le Tribunal de police de l'arrondissement de l'Est vaudois; il conclut, à titre subsidiaire, à l'annulation de la décision entreprise.

Considérant en droit :
1.
La décision attaquée concerne la question des frais de défense dus à la partie plaignante dans le cadre d'une procédure pénale. La jurisprudence admet que les frais exposés par les parties, c'est-à-dire essentiellement les honoraires payés pour le mandataire privé ou l'avocat commis d'office, sont indissociables de la procédure pénale de sorte que les griefs dirigés contre leur fixation doivent être invoqués par la voie du recours en matière pénale (<ref-ruling> consid. 1.1.1 p. 45 s.).
2.
Le recourant invoque une violation de l'<ref-law> et des principes généraux du droit de la responsabilité civile pour faire valoir que l'intimé n'a pas droit à des dépens pénaux.
2.1. Aux termes de l'<ref-law>, la partie plaignante peut demander au prévenu une juste indemnité pour les dépenses obligatoires occasionnées par la procédure si elle obtient gain de cause (let. a). La partie plaignante adresse ses prétentions à l'autorité pénale et doit les chiffrer et les justifier (al. 2).
La partie plaignante obtient gain de cause au sens de l'<ref-law> si les prétentions civiles sont admises et/ou lorsque le prévenu est condamné. Dans ce dernier cas, la partie plaignante peut être indemnisée pour les frais de défense privée en relation avec la plainte pénale (<ref-ruling> consid. 4.1 et 4.3 p. 107 s.).
La juste indemnité, notion qui laisse un large pouvoir d'appréciation au juge, couvre les dépenses et les frais nécessaires pour faire valoir le point de vue de la partie plaignante dans la procédure pénale. Il s'agit en premier lieu des frais d'avocat de la partie plaignante (arrêts 6B_965/2013 du 3 décembre 2013 consid. 3.1.1; 6B_159/2012 du 22 juin 2012 consid. 2.3). En particulier, les démarches doivent apparaître nécessaires et adéquates pour la défense du point de vue de la partie plaignante raisonnable (arrêt 6B_159/2012 du 22 juin 2012 consid. 2.3).
2.2. En l'espèce, la cour cantonale a constaté que l'intimé s'est porté demandeur au pénal et au civil. Au civil, il a été renvoyé à agir devant le juge civil. Sur le plan pénal, il a obtenu partiellement gain de cause quant au chef d'accusation d'injure, vu la déclaration de culpabilité prononcée à l'encontre du recourant, peu importe à cet égard l'exemption de peine. L'autorité précédente a considéré que les conditions permettant de refuser par principe toute indemnité de procédure à l'intimé au sens de l'<ref-law> n'étaient pas réunies au vu de l'issue de la cause portée devant la juridiction de première instance.
2.3. Le recourant invoque l'absence d'une issue favorable à l'intimé, en ce sens qu'il a été exempté de toute peine pour l'infraction d'injure; l'intimé aurait ainsi totalement succombé dans ses conclusions auprès de l'autorité de première instance. Le recourant fait également valoir que la juridiction cantonale aurait dû tenir compte d'une faute concomitante de l'intimé.
Certes, la partie plaignante n'a pas d'intérêt juridiquement protégé en ce qui concerne la quotité de la peine prononcée à l'encontre du prévenu (Markus Hug, in Kommentar zur Schweizerischen Strafprozessordnung, 2010, n° 15 ad <ref-law>; Yvan Jeanneret, La partie plaignante et l'action civile, in RPS 128/2010, p. 304; Mazzucchelli/Postizzi, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n° 5 ad <ref-law>; Moreillon/Parein-Reymond, Petit commentaire du Code de procédure pénale, 2013, n. 35 ad <ref-law>; Niklaus Schmid, Schweizerische Strafprozessordnung, Praxiskommentar, 2e éd., 2013, n. 5 ad <ref-law>; le même, Handbuch des schweizerischen Strafprozessrechts, 2e éd., 2013, p. 656 n. 1462); en revanche, elle a un intérêt à la constatation d'un verdict de culpabilité.
Contrairement à ce que prétend le recourant, en obtenant la condamnation de ce dernier pour injure, l'intimé a obtenu gain de cause. Par ailleurs, le tribunal de première instance a retenu, au bénéfice du doute, que le recourant avait été provoqué, soit qu'il avait riposté à une injure par une autre injure, de sorte qu'il a été exempté de toute peine, cette solution n'ayant pas été remise en cause en appel. Le fait que le recourant ait bénéficié d'une exemption de peine est sans incidence sur la nécessité, pour l'intimé, de faire valoir ses intérêts quant à la constatation d'un verdict de culpabilité. Le recourant ne peut donc rien déduire en sa faveur, quant aux dépens, du doute dont il a bénéficié sur le plan pénal.
2.4. Le recourant soutient qu'il avait admis avoir injurié l'intimé lors de son audition par le ministère public. Par conséquent, son opposition à " l'ordonnance de condamnation " (recte ordonnance pénale, cf. <ref-law>) ne pouvait que consister à demander une exemption ou une atténuation de la peine. L'intimé n'avait donc aucun intérêt à se préparer et à assister à l'audience de première instance, respectivement aurait dû s'abstenir d'y participer, de telle sorte qu'il aurait évité des frais d'avocat. Par ce grief, on comprend que le recourant discute le caractère nécessaire des frais de défense.
L'opposition à une ordonnance pénale a pour conséquence, lorsqu'elle est maintenue par le ministère public, un renvoi de la cause devant le tribunal de première instance, l'ordonnance pénale tenant lieu d'acte d'accusation (cf. <ref-law>). Dans un tel cas, le tribunal de première instance annule l'ordonnance pénale, qui cesse d'avoir existé (Piquerez/Macaluso, Procédure pénale suisse, 3e édition 2011, p. 586 n. 1734), et n'est pas lié par les infractions retenues par le ministère public ou la peine fixée par ce dernier dans l'ordonnance pénale (Jeanneret/Kuhn, Précis de procédure pénale, 2013, p. 425 n. 17029; Yvan Jeanneret, L'ordonnance pénale et la procédure simplifiée dans le CPP, in Procédure pénale suisse - Approche théorique et mise en oeuvre cantonale, Neuchâtel, 2010, p. 100). Dans ces circonstances, l'intimé avait tout intérêt à se préparer et à assister à l'audience de première instance pour demander la poursuite et la condamnation du recourant (cf. <ref-law>), ce d'autant plus qu'il n'était pas exclu que, lors des débats de première instance, ce dernier rétracte ses aveux. Dans cette mesure, les frais de défense étaient nécessaires à l'intimé.
2.5. Le recourant invoque enfin la violation de la notion de juste indemnité.
La cour cantonale a considéré que les prétentions de l'intimé, à hauteur de 7'594 fr. 30, débours et TVA compris, pour 20,11 heures de travail de son avocat rémunérées à 325 fr. de l'heure étaient manifestement excessives compte tenu de la libération de l'infraction de menaces et de la simplicité de la cause. Elle a ainsi arrêté le montant des dépens à 1'500 fr. Le recourant ne remet pas en cause le tarif horaire retenu par l'autorité précédente, mais uniquement le caractère nécessaire de l'intervention du conseil de l'intimé. L'indemnité de 1'500 fr. correspond à une réduction de 4/5 des prétentions de ce dernier. Elle tient équitablement compte du fait qu'il n'a pas eu gain de cause sur le plan civil (cf. <ref-ruling> consid. 4.4 p. 109) et partiellement au pénal (acquittement de l'accusation de menaces). Pour le surplus, compte tenu de ce qui a été indiqué au consid. 2.4 in fineet en regard de la simplicité du cas, il n'apparaît pas que la cour cantonale aurait fait un usage critiquable de son pouvoir d'appréciation en indemnisant quelque 4,5 heures d'activité du conseil de l'intimé.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 6 octobre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Bichovsky Suligoj