Faits:
A. Par jugement du 17 février 2011, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a libéré Y._ du chef d'accusation d'abus de confiance, pris acte des huit jours de détention préventive qu'il avait subis, renvoyé X._ à agir devant le juge civil, alloué à Y._ une indemnité de 1'000 fr. à la charge de l'Etat et arrêté les frais à la charge de Y._ à 3'689 fr. 45, le solde étant laissé à la charge de l'Etat.
B. X._ a formé appel contre ce jugement, concluant à la condamnation de Y._ pour abus de confiance et à l'allocation de 200'000 fr. à titre de dommages-intérêts.
Par jugement du 7 octobre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel, confirmé le jugement de première instance, mis les frais de la procédure d'appel, par 1'100 fr., à la charge de X._, et alloué une indemnité de 3'024 fr. à Y._ pour ses frais de défense en appel, cette indemnité étant laissée à la charge de l'Etat.
C. Le Ministère public du canton de Vaud forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant à sa réforme en ce sens que l'indemnité allouée à Y._ pour ses frais de défense en appel, par 3'024 fr., est mise à la charge de X._.
D. Invitée à présenter des observations, X._ a conclu au rejet du recours et à la confirmation du jugement attaqué au motif que, les conclusions civiles n'ayant pas entraîné de dépenses particulières, aucune des hypothèses de l'art. 432 al. 1 et 2 CPP n'est réalisée.
Pour sa part, Y._ s'en est remis à justice.
Enfin, l'autorité cantonale a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recourant se plaint d'une violation de l'art. 432 al. 1 CPP. Il relève que la procédure d'appel a été déclenchée par la seule partie plaignante pour contester l'acquittement du prévenu et demander l'allocation de ses prétentions civiles. Dans ces circonstances, il serait justifié de faire supporter les frais de défense du prévenu à la partie plaignante, qui a été déboutée.
1.2 L'indemnisation du prévenu est régie par les art. 429 à 432 CPP, dispositions aussi applicables à la procédure d'appel par le renvoi de l'art. 436 al. 1 CPP.
En particulier, selon l'art. 429 al. 1 let. a CPP, si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure.
L'art. 432 CPP prévoit quant à lui que le prévenu qui obtient gain de cause peut demander à la partie plaignante une juste indemnité pour les dépenses occasionnées par les conclusions civiles (al. 1). Lorsque le prévenu obtient gain de cause sur la question de sa culpabilité et que l'infraction est poursuivie sur plainte, la partie plaignante ou le plaignant qui, ayant agi de manière téméraire ou par négligence grave, a entravé le bon déroulement de la procédure ou a rendu celle-ci plus difficile peut être tenu d'indemniser le prévenu pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (al. 2).
Ainsi, le législateur a conçu une réglementation prévoyant une possibilité d'indemniser le prévenu acquitté. Il se déduit de l'art. 429 al. 1 let. a CPP que les frais de défense relatifs à l'aspect pénal sont en principe mis à la charge de l'Etat (voir message relatif à l'unification du droit de la procédure pénale du 21 décembre 2005, FF 2006 p. 1313 ad art. 437 du projet et p. 1314 ad art. 440 du projet).
Il s'agit d'une conséquence du principe selon lequel c'est à l'Etat qu'incombe la responsabilité de l'action pénale. Pour cette raison, le législateur a prévu des correctifs pour des situations dans lesquelles la procédure est menée davantage dans l'intérêt de la partie plaignante ou lorsque cette dernière en a sciemment compliqué la mise en oeuvre (cf. art. 432 CPP).
S'agissant d'une indemnité allouée dans une procédure d'appel, les dispositions applicables en vertu du renvoi de l'art. 436 al. 1 CPP doivent être interprétées à la lumière de cette situation spécifique. Ainsi, lorsque l'appel a été formé par la seule partie plaignante, on ne saurait perdre de vue le fait qu'il n'y a alors plus aucune intervention de l'Etat tendant à la poursuite de la procédure en instance de recours. On se trouve par conséquent dans une situation assimilable à celles prévues par l'art. 432 CPP dans la mesure où la poursuite de la procédure relève de la volonté exclusive de la partie plaignante. Il est donc conforme au système élaboré par le législateur que, dans un tel cas, ce soit cette dernière qui assume les frais de défense du prévenu devant l'instance d'appel. Cette approche rejoint celle en matière de frais de recours, lesquels sont à la charge de la partie qui succombe (cf. art. 428 CPP).
1.3 Le recours doit être admis et l'arrêt attaqué annulé dans la mesure où il met à la charge de l'Etat l'indemnité allouée au prévenu pour ses frais de défense en appel. Le montant de cette indemnité n'étant pas remis en cause, il y a lieu, en application de l'art. 107 al. 2 LTF, de réformer le jugement attaqué en ce sens que l'indemnité de 3'204 fr. allouée est mise à la charge de la partie plaignante.
2. L'arrêt est rendu sans frais (art. 66 al. 1 LTF).
Le Ministère public, qui obtient ainsi gain de cause, ne saurait se voir allouer de dépens (art. 68 al. 3 LTF). Enfin, il n'y a pas lieu d'allouer de dépens à l'intimé qui n'a produit qu'une très brève lettre dans laquelle il déclare s'en remettre à justice.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est réformé en ce sens que l'indemnité allouée à Y._ est mise à la charge de X._.
2. Il est statué sans frais judiciaires ni dépens.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 novembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay