Faits:
A. Par jugement du 25 février 2011, le Juge de police de l'arrondissement de la Sarine a condamné X._ pour calomnie à une peine de 80 heures de travail d'intérêt général, avec sursis pendant 2 ans et à payer à Y._ 1000 fr. à titre de réparation du tort moral.
B. Par arrêt du 30 mars 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté l'appel formé par X._ et confirmé le jugement de première instance. En résumé, il a été reproché à X._ d'avoir accusé, lors d'une audience devant le juge civil le 16 mai 2007, Y._ d'avoir créé une fausse quittance attestant le paiement par son frère d'un montant de 11'000 fr. à X._ en relation avec la vente du véhicule Jaguar de ce dernier. Dans le cadre de cette vente, une autre quittance à l'entête de la société Z._ AG a été établie pour un montant de 1 fr., dont l'authenticité n'a pas été contestée. Le 20 juillet 2007, Y._ a déposé plainte contre X._ pour calomnie, subsidiairement diffamation.
Le 28 novembre 2007, X._ a déposé une dénonciation contre Y._, son frère et le témoin présent lors de la vente du véhicule pour abus de confiance, faux dans les titres et faux témoignage. Dans le cadre de cette enquête, deux expertises ont été ordonnées qui ont abouti à la conclusion que la signature de X._ avait été apposée après l'impression du texte de la quittance et qu'elle n'avait pas été contrefaite. La seconde expertise a relevé que les deux quittances n'avaient très vraisemblablement pas été faites le même jour. Un non-lieu a été prononcé par le juge d'instruction le 10 septembre 2010, confirmé par arrêt de la Chambre pénale du Tribunal cantonal fribourgeois du 17 décembre 2010, qui a constaté que la quittance de 11'000 fr. était authentique, les infractions dénoncées par X._ n'étant ainsi pas réalisées.
C. X._ forme un recours en matière pénale contre l'arrêt du 30 mars 2012. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté et que les prétentions civiles de Y._ sont rejetées.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant invoque concurremment l'interdiction de l'arbitraire dans l'appréciation des preuves et la violation de la présomption d'innocence en tant que l'autorité cantonale aurait procédé à un renversement du fardeau de la preuve.
1.1 La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves (ATF 120 Ia 31 consid. 2c p. 36 et les références citées).
1.1.1 En tant que règle relative au fardeau de la preuve, la présomption d'innocence signifie que toute personne prévenue d'une infraction pénale doit être présumée innocente jusqu'à ce que sa culpabilité soit légalement établie et, partant, qu'il appartient à l'accusation de prouver la culpabilité de l'intéressé. La présomption d'innocence est violée si le juge du fond condamne l'accusé au motif que son innocence n'est pas établie, s'il a tenu la culpabilité pour établie uniquement parce que le prévenu n'a pas apporté les preuves qui auraient permis de lever les doutes quant à son innocence ou à sa culpabilité ou encore s'il a condamné l'accusé au seul motif que sa culpabilité est plus vraisemblable que son innocence (cf. ATF 127 I 38 consid. 2a p. 41; 124 IV 86 consid. 2a p. 88, 120 Ia 31 consid. 2c p. 37). Cela étant, le juge du fond ne peut retenir un fait défavorable à l'accusé que s'il est convaincu de la matérialité de ce fait, de sorte que le doute profite à l'accusé (ATF 120 Ia 31 consid. 2c p. 37).
1.1.2 Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (ATF 127 I 38 consid. 2a p. 41; 120 Ia 31 consid. 2c p. 37). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 137 III 226 consid. 4.2 p. 234; 136 III 552 consid. 4.2 p. 560).
1.1.3 Le Tribunal fédéral examine librement si ces principes ont été violés en tant que règles sur le fardeau de la preuve. Il examine uniquement sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (ATF 124 IV 86 consid. 2a p. 88). Sous peine d'irrecevabilité, l'arbitraire allégué doit être démontré conformément aux exigences de motivation de l'art. 106 al. 2 LTF (ATF 133 IV 286 consid. 1.4 p. 287). Les critiques de nature appellatoire sont irrecevables (ATF 137 IV 1 consid. 4.2.3 p. 5; 137 II 353 consid. 5.1 p. 356).
1.2 Invoquant une violation du principe de la présomption d'innocence en tant que fardeau de la preuve, le recourant reproche à la cour cantonale d'avoir refusé d'examiner le doute au sujet de sa culpabilité en se déclarant liée par les constatations de fait des décisions rendues dans le cadre du dossier instruit contre l'intimée. Elle lui aurait ainsi imposé de prouver la fausseté de la quittance litigieuse.
L'autorité précédente a indiqué que les décisions précitées avaient été prises sur la base de deux expertises scientifiques qui avaient abouti à la conclusion que le recourant avait signé la quittance après son impression et que sa signature n'était pas contrefaite. Elle a ainsi procédé à une appréciation des preuves constituées par ces expertises. Contrairement à ce que pense le recourant, ce n'est pas parce cette appréciation va à l'encontre de ce qu'il soutient, que l'autorité précédente a procédé à un renversement du fardeau de la preuve. Mal fondé, ce grief doit être rejeté.
1.3 Le recourant soutient que la cour cantonale aurait procédé à une appréciation arbitraire des preuves en retenant l'authenticité de la quittance et, partant, qu'il connaissait la fausseté de ses allégations.
En tant que l'argumentation du recourant consiste, pour l'essentiel, à opposer une nouvelle fois sa propre appréciation des faits à celle de la cour cantonale, elle est appellatoire, partant irrecevable. Il en va notamment ainsi lorsqu'il allègue qu'un témoin avait attesté que la quittance de 1 fr. avait été faite à Zurich, qu'il avait roulé avec le véhicule Jaguar, objet de la vente, après celle-ci et que ce véhicule restait inscrit dans les comptes de sa société Z._ AG.
Se référant aux expertises scientifiques, le recourant relève qu'il en ressort que la quittance de 1 fr. et celle de 11'000 fr. n'ont pas été établies le même jour, contrairement à ce qu'ont toujours affirmé l'intimée, son frère et le témoin présent le jour de la vente du véhicule. Au vu de cette contradiction, il serait arbitraire de retenir que la quittance litigieuse était authentique.
La cour cantonale n'a pas ignoré cet élément. Elle a toutefois relevé que le recourant avait accusé l'intimée de s'être rendue coupable d'un faux, reproche qui n'était pas fondé, puisque l'expertise, à elle seule, démontrait que la quittance de 11'000 fr. était authentique. En se fondant sur l'expertise qui indiquait que le recourant avait signé la quittance après son impression et que sa signature n'était pas contrefaite, la cour cantonale pouvait, sans arbitraire, retenir que la quittance était authentique. Sur la base de ce constat, il n'était pas arbitraire non plus d'en déduire que le recourant savait que ses accusations à l'encontre de l'intimée étaient fausses puisqu'il avait lui-même signé la quittance après son impression. Pour le surplus, l'hypothèse avancée par le recourant selon laquelle l'intimée lui aurait soumis la quittance pour signature dans un moment de faiblesse ou d'inattention, qui n'est, comme l'indique le recourant, qu'une hypothèse, n'est pas de nature à faire apparaître la solution retenue par la cour cantonale comme arbitraire. Les critiques du recourant relatives à l'appréciation des preuves doivent être rejetées dans la mesure où elles sont recevables.
2. En relation avec l'appréciation des preuves, le recourant fait valoir une violation de son droit d'être entendu. Il estime que la cour cantonale n'aurait pas dû se déclarer liée par les constations de fait ressortant des décisions prises dans le dossier instruit contre l'intimée et aurait ainsi dû se prononcer sur les éléments de fait qu'il invoquait et les griefs qu'il en déduisait.
2.1 Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., implique notamment pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF 134 I 83 consid. 4.1 p. 88; 133 III 439 consid. 3.3 p. 445).
2.2 Contrairement à ce que semble penser le recourant, il n'est pas déterminant de savoir si la cour cantonale devait ou non se sentir liée par les constatations de fait ressortant des décisions rendues dans le dossier instruit contre l'intimée. En effet, la cour cantonale a indiqué que ces décisions avaient été prises sur la base de deux expertises scientifiques qui avaient abouti à la conclusion que la quittance de 11'000 fr. portant sur la vente du véhicule Jaguar était authentique. Comme déjà exposé (v. supra consid. 1.3), ce constat n'est pas arbitraire, pas plus que la conclusion que le recourant ne pouvait pas ignorer que la quittance était authentique. La cour cantonale a ainsi exposé de manière claire et convaincante les motifs pour lesquels elle a fondé sa décision. Dès lors que le recourant avait accusé l'intimée d'avoir fabriqué un faux et qu'il était établi sans arbitraire que la quittance était authentique, l'autorité précédente n'avait pas à examiner d'avantage les autres griefs du recourant. Mal fondé, le grief doit être rejeté.
3. Le recourant invoque une violation de l'art. 14 CP.
3.1 Selon cette norme, quiconque agit comme la loi l'ordonne ou l'autorise se comporte de manière licite, même si l'acte est punissable en vertu du code pénal ou d'une autre loi. Une partie à un procès peut invoquer cette disposition pour justifier des propos objectivement diffamatoires. La partie ne doit toutefois pas aller au-delà de ce qui est nécessaire à la défense de ses intérêts, ses déclarations doivent avoir le contenu approprié et elles doivent être formulées de bonne foi, de simples présomptions devant être désignées comme telles (ATF 116 IV 211 consid. 4 a/bb p. 214).
3.2 Le recourant connaissait la fausseté de ses allégations. Par conséquent, il ne pouvait pas être de bonne foi et ne peut prétendre à l'application de l'art. 14 CP. Mal fondé, le grief doit être rejeté.
4. Le recourant fait valoir une violation de l'art. 174 CP. Il prétend que les éléments constitutifs subjectifs de cette infraction n'auraient pas été établis.
4.1 Cette disposition punit, sur plainte, d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire, celui qui, connaissant la fausseté de ses allégations, aura, en s'adressant à un tiers, accusé une personne ou jeté sur elle le soupçon de tenir une conduite contraire à l'honneur, ou de tout autre fait propre à porter atteinte à sa considération.
Sur le plan subjectif, la calomnie implique que l'auteur ait agi avec l'intention de tenir des propos attentatoires à l'honneur d'autrui et de les communiquer à des tiers, le dol éventuel étant à cet égard suffisant, et qu'il ait en outre su que ses allégations étaient fausses, ce qui implique une connaissance stricte, de sorte que, sur ce point, le dol éventuel ne suffit pas (cf. ATF 136 IV 170 consid. 2.1 p. 176 s.; arrêt 6B_506/2010 du 21 octobre 2010 consid. 3.1.3).
4.2 En l'espèce, le recourant a déclaré, en audience publique, devant le tribunal, soit en présence de tiers, que l'intimée avait établi et produit une fausse quittance. Cette affirmation était attentatoire à l'honneur dès lors qu'elle portait sur un comportement punissable, ce que ne pouvait ignorer le recourant. Savoir si les allégations litigieuses étaient fausses et si le recourant en avait connaissance relève de l'établissement des faits (ATF 137 IV 1 consid. 4.2.3 in fine p. 4 s.; 135 IV 152 consid. 2.3.2 p. 156), qui lient la cour de céans, à moins que ceux-ci ne soient entachés d'arbitraire (cf. art. 97 al. 1 LTF; v. supra consid. 1.1). Or, comme vu au considérant 1.3, la cour cantonale a retenu sans arbitraire leur fausseté et la connaissance de cette fausseté par le recourant. Les éléments objectifs et subjectifs de la calomnie sont réalisés.
Pour le surplus, c'est en vain que le recourant reproche à la cour cantonale de ne pas lui avoir donné l'occasion de faire la preuve de la vérité de ses allégations, dès lors qu'en matière de calomnie une telle preuve est exclue, les allégations étant par essence fausses et l'auteur de mauvaise foi.
Par conséquent, la cour cantonale n'a pas violé le droit fédéral en reconnaissant le recourant coupable de calomnie. Mal fondé, le grief doit être rejeté.
5. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens au Ministère public (art. 68 al. 3 LTF), ni à l'intimée qui n'a pas été invitée à procéder (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 17 juillet 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet