Faits :
A.
Par jugement du 12 janvier 2018, le Tribunal de police de l'arrondissement de Lausanne a acquitté A._ des chefs d'accusation de calomnie, subsidiairement de diffamation, a dit que X._ était le débiteur de A._ d'un montant de 7'145 fr. 85 à titre d'indemnisation pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure et a mis les frais de la cause, d'un montant de 6'396 fr., à la charge de X._.
B.
Par jugement du 22 mai 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre le jugement du 12 janvier 2018 et a intégralement confirmé celui-ci. Elle a condamné X._ à payer à A._ un montant de 1'098 fr. 55 à titre de juste indemnité pour les dépenses occasionnées par la procédure d'appel. Les frais d'appel, par 1'720 fr., ont également été mis à la charge de X._.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 22 mai 2018. Il conclut, avec suite de frais et dépens, principalement, à ce que A._ soit reconnue coupable de calomnie, subsidiairement de diffamation, à ce qu'une peine soit prononcée à son encontre, à ce qu'elle soit condamnée à lui verser un montant de 7'145 fr. 85 à titre de dépens et à ce que les frais de justice, par 6'396 fr., soient mis à sa charge. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à la cour cantonale pour nouvelle décision. Plus subsidiairement, il conclut à la réforme du jugement du 22 mai 2018 en ce sens qu'il n'est pas alloué de dépens en faveur de A._.
D.
Invités à se déterminer, la cour cantonale et le ministère public y ont renoncé, tandis que l'intimée a présenté des observations. Le recourant a exercé son droit de réplique.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Les prétentions civiles envisagées sous l'angle de l'art. 81 al. 1 let. a et b ch. 5 LTF sont celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4). En cas d'acquittement du prévenu, cela suppose que la partie plaignante fasse valoir dans la procédure pénale, autant que cela pouvait raisonnablement être exigé d'elle, des prétentions civiles découlant de l'infraction (<ref-ruling> consid. 1.3.1 p. 247 s.), étant rappelé que les prétentions civiles peuvent être élevées au plus tard lors des plaidoiries devant le tribunal du premier degré (<ref-law>; arrêt 6B_282/2017 du 14 septembre 2017 consid. 1.1). Si la partie plaignante n'est pas à même de le faire, notamment parce que son dommage n'est pas encore ou pas entièrement établi, elle doit indiquer quelles sortes de prétentions civiles elle entend faire valoir et demander qu'elles lui soient allouées dans leur principe (<ref-ruling> consid. 1a p. 187; arrêts 6B_282/2017 précité consid. 1.1 et 6B_1156/2015 du 27 juillet 2016 consid. 2.1). La partie plaignante ne saurait en tous les cas se limiter à demander la réserve de ses prétentions civiles ou, en d'autres termes, à signaler simplement qu'elle pourrait les faire valoir ultérieurement, dans une autre procédure. Ce faisant, elle ne prend pas de conclusions civiles sur le fond (<ref-ruling> consid. 1b p. 188). Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (<ref-ruling> consid. 1.1 p. 4 et les références citées; arrêt 6B_282/2017 précité consid. 1.1).
1.2. En l'espèce, le recourant se contente d'exposer que son recours porte également sur " des prétentions civiles qui doivent être jugées en même temps que la cause pénale au sens de l'<ref-law> ". Il ne soutient pas avoir articulé des prétentions civiles en première instance, alors qu'il aurait pu le faire, puisque la procédure a été menée jusqu'au stade du jugement. De telles prétentions ne ressortent à tout le moins pas du jugement du Tribunal de police. Par conséquent, faute de satisfaire aux conditions posées par l'art. 81 al. 1 let. b ch. 5 LTF, le recourant ne dispose pas de la qualité pour recourir sur le fond de la cause. Les griefs soulevés à l'encontre de l'acquittement de l'intimée sont dès lors irrecevables.
2.
Le recourant reproche à la cour cantonale de l'avoir condamné à verser à l'intimée une indemnité pour ses dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Dans cette mesure, il a la qualité pour recourir (cf. arrêt 6B_695/2017 du 26 avril 2018 consid. 3 et les références citées).
2.1. En tant que la critique du recourant est tout d'abord fondée sur la prémisse que le jugement d'acquittement sera annulé et que l'intimée sera condamnée pour calomnie, respectivement diffamation, il n'y a pas lieu de l'examiner puisque la cause n'est pas revue sur le fond. Pour le surplus, le recours ne contient aucune motivation sur une éventuelle violation du droit fédéral dans l'application de l'<ref-law>, de sorte que la cause ne sera pas revue sous cet angle.
2.2. Dans l'hypothèse où le jugement d'acquittement ne serait pas annulé, le recourant soutient que la cour cantonale a violé le droit fédéral (<ref-law>) en octroyant une indemnité à l'intimée alors que celle-ci n'avait pas chiffré et justifié ses prétentions.
2.2.1. Il ressort du jugement attaqué que le défenseur de l'intimée a déclaré au premier juge s'en remettre à justice sur la question de l'indemnité qui devait lui être allouée, tout en précisant qu'il avait fourni un travail équivalent à celui du conseil du recourant. Retenant qu'il s'agissait du même dossier, le premier juge a alors arrêté l'indemnité litigieuse sur la base de la note d'honoraires déposée par ce conseil. La cour cantonale, quant à elle, a jugé que, compte tenu notamment de la durée de l'instruction et du nombre d'auditions, le montant octroyé apparaissait adéquat. Par ailleurs, rien n'indiquait que cette indemnité devait être inférieure à celle que le recourant avait lui-même estimé justifiée en ce qui le concernait.
2.2.2. L'indemnisation du prévenu est régie par les art. 429 à 432 CPP. En particulier, selon l'<ref-law>, si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. L'<ref-law> prévoit quant à lui que le prévenu qui obtient gain de cause peut demander à la partie plaignante une juste indemnité pour les dépenses occasionnées par les conclusions civiles (al. 1). Lorsque le prévenu obtient gain de cause sur la question de sa culpabilité et que l'infraction est poursuivie sur plainte, la partie plaignante ou le plaignant qui, ayant agi de manière téméraire ou par négligence grave, a entravé le bon déroulement de la procédure ou a rendu celle-ci plus difficile peut être tenu d'indemniser le prévenu pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (al. 2).
L'<ref-law> se conçoit ainsi à l'aune de l'<ref-law>, dont on déduit que les frais de défense relatifs à l'aspect pénal sont en règle générale supportés par l'État, en conséquence du principe selon lequel l'État assume la responsabilité de l'action pénale (arrêt 6B_369/2018 du 7 février 2019 consid. 3.1 destiné à la publication; <ref-ruling> consid. 1.1 p. 479; <ref-ruling> consid. 1.2 p. 47). L'<ref-law> représente toutefois, sur ce plan, un correctif voulu par le législateur pour tenir compte des situations dans lesquelles la procédure est menée davantage dans l'intérêt de la partie plaignante ou lorsque celle-ci en a sciemment compliqué la mise en oeuvre (ibid.).
Aux termes de l'<ref-law>, l'autorité pénale examine d'office les prétentions du prévenu et peut l'enjoindre de les chiffrer et de les justifier. S'il lui incombe, le cas échéant, d'interpeller le prévenu, elle n'en est pas pour autant tenue d'instruire d'office l'ensemble des faits pertinents concernant les prétentions en indemnisation. C'est au contraire au prévenu (totalement ou partiellement) acquitté qu'il appartient de prouver le bien-fondé de ses prétentions, conformément à la règle générale du droit de la responsabilité civile selon laquelle la preuve du dommage incombe au demandeur (<ref-law>; <ref-ruling> consid. 1.3.1 p. 240). En effet, ignorant les opérations effectuées par l'avocat, l'autorité pénale sera souvent dans l'impossibilité de fixer le montant de l'indemnité fondée sur l'<ref-law>. Le prévenu a ainsi un devoir de collaboration (arrêts 6B_796/2016 du 15 mai 2017 consid. 1; 6B_928/2014 du 10 mars 2014 consid. 2, non publié in <ref-ruling>).
2.2.3. Selon ce qui précède, il appartient au prévenu qui sollicite une indemnisation fondée sur l'<ref-law> de chiffrer et justifier ses prétentions en présentant la liste de ses frais de défense. En l'espèce, l'intimée n'a pas satisfait à cette obligation en sollicitant une indemnisation fixée à dire de justice et en se limitant à se rapporter à la note d'honoraires déposée par sa partie adverse.
Il faut encore déterminer si l'incombance qui est faite à l'autorité selon l'art. 429 al. 2 in fine CPP existe également lorsque l'indemnité repose sur l'<ref-law>. De manière évidente, rien ne justifie que le prévenu qui sollicite une indemnisation sur la base de l'<ref-law> soit traité différemment sur ce point lorsque l'indemnité doit être mise non à la charge de l'État, mais de la partie plaignante en raison de la faute commise par celle-ci au sens de l'<ref-law>. Il en va d'ailleurs de même s'agissant de l'indemnisation de la partie plaignante par le prévenu. En effet, la jurisprudence retient que le juge doit rendre attentive la partie plaignante à son droit d'obtenir le cas échéant une indemnité au sens de l'<ref-law>, comme à son devoir de chiffrer et documenter celle-ci, et cela quand bien même le texte légal de l'<ref-law> ne prévoit pas que l'autorité pénale examine d'office les prétentions de la partie plaignante (arrêts 6B_979/2017 du 29 mars 2018 consid. 5.1; 6B_965/2013 du 3 décembre 2013 consid. 3.1.2).
Il en découle, en l'espèce, que l'autorité cantonale aurait dû enjoindre l'intimée à chiffrer et justifier ses prétentions en indemnisation de ses dépenses obligatoires occasionnées par la procédure. Elle ne pouvait pas simplement partir de l'idée que les dépenses de l'intimée étaient identiques à celles du recourant. En condamnant ce dernier à payer à l'intimée un montant de 7'145 fr. 85 à titre d'indemnité au sens de l'<ref-law> alors que ce montant n'a pas été documenté, la cour cantonale a violé le droit fédéral. Le recours doit être admis sur ce point.
Ce qui précède rend sans objet tout autre grief élevé à l'encontre de l'indemnité de dépens allouée à l'intimée.
3.
Le recours doit être partiellement admis. Pour le reste, il est irrecevable.
Le recourant, qui obtient partiellement gain de cause, supportera une partie des frais judiciaires, de même que l'intimée, qui a conclu au rejet du recours et succombe partiellement (<ref-law>). Le canton de Vaud n'a pas à en supporter (art. 66 al. 1 et 4 LTF).
Le recourant peut prétendre à une indemnité de dépens réduite pour la procédure à la charge du canton de Vaud. Les dépens sont compensés entre le recourant et l'intimée (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est irrecevable.
2.
Une partie des frais judiciaires, arrêtée à 2'000 fr., est mise à la charge du recourant.
3.
Une partie des frais judiciaires, arrêtée à 1'000 fr., est mise à la charge de l'intimée.
4.
Une indemnité de 1'000 fr., à verser au recourant à titre de dépens, est mise à la charge du canton de Vaud.
5.
Les dépens sont compensés entre le recourant et l'intimée.
6.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 mars 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy