Faits:
A. Par jugement du 10 septembre 2009, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._ pour tentative de contrainte et délit à la loi fédérale sur les armes à une peine privative de liberté ferme de 14 mois, sous déduction de la détention préventive subie. Le tribunal a aussi alloué certaines prétentions civiles à A._.
Par arrêt du 25 novembre 2010, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté l'appel formé par X._.
Par arrêt du 26 avril 2011 (6B_55/2011), le Tribunal fédéral a admis le recours en matière pénale de X._, annulé la décision attaquée en ce qu'elle concernait la condamnation pour délit à la loi fédérale sur les armes et renvoyé la cause à l'autorité précédente pour nouveau jugement.
B. Par arrêt du 7 mai 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté l'appel formé par X._ et confirmé le jugement du 10 septembre 2009.
En bref, il ressort les éléments suivants de cet arrêt.
Depuis une date indéterminée jusqu'en 2006, X._ a possédé un pistolet SIG P 210 qu'il a remis, en 2006, à B._. Lors d'une perquisition opérée la même année au domicile de ce dernier, son épouse a pu dissimuler cette arme à la police, puis l'a remise à X._. Celui-ci l'a ensuite rendue à B._, dans le garage duquel l'arme a été retrouvée lors d'une perquisition en août 2007.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté du chef d'accusation de délit à la loi fédérale sur les armes, que les conclusions civiles de A._ à son encontre sont rejetées et qu'il est condamné à une peine pécuniaire de 180 jours-amende à 5 fr. au plus avec sursis pendant 2 ans. Subsidiairement, il conclut à ce que sa peine de 14 mois, si elle est confirmée, soit assortie du sursis. Dans les deux cas, la détention avant jugement doit être déduite. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.
Invités à déposer des observations sur le recours, le Ministère public y a renoncé, alors que la cour cantonale a conclu à son rejet.

Considérant en droit:
1. Le recourant invoque une violation de l'<ref-law> et de son droit d'être entendu. Il prétend que le président de la cour cantonale n'aurait pas donné l'occasion aux parties de répliquer et de dupliquer lors de l'audience d'appel et que son conseil n'aurait pas eu la parole en dernier.
Selon le procès-verbal de l'audience d'appel du 7 mai 2012, le président a prononcé la clôture de la procédure probatoire et a donné la parole au conseil du recourant, puis au représentant du Ministère public. Conformément au principe de la bonne foi en procédure (art. 5 al. 3 Cst), il appartenait au conseil du recourant, avocate brevetée, de requérir immédiatement lors de l'audience de pouvoir plaider en dernier. Le recourant ne prétend pas, et il ne ressort pas du procès-verbal d'audience, que son conseil aurait demandé à nouveau la parole qui lui aurait été refusée. Par conséquent, le recourant est déchu de ce moyen devant le Tribunal fédéral (cf. <ref-ruling> consid. 2.2 p. 336). Le grief est irrecevable.
2. Le recourant fait valoir que la cour cantonale aurait violé son droit à la preuve et les art. 405 al. 1 et 343 al. 3 CPP en lui refusant l'audition en qualité de témoin de B._ à l'audience d'appel.
2.1 L'invocation de l'art. 29 al. 2 Cst n'a pas, en l'espèce, de portée propre par rapport aux dispositions du CPP. Selon l'<ref-law>, applicable aux débats d'appel par le renvoi de l'<ref-law>, le tribunal réitère l'administration des preuves qui, lors de la procédure préliminaire, ont été administrées en bonne et due forme lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement. Seules les preuves essentielles et décisives dont la force probante dépend de l'impression qu'elles donnent doivent être réitérées (MAX HAURI, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, no 19 ad <ref-law>; HANS MATHYS, Erstinstanzliches Hauptverfahren - Berufungsverfahren, in Schweizerische Strafprozessordnung, Tag/Hauri (éd.), 2010, p. 119 ss, p. 134; NIKLAUS SCHMID, Schweizerische Strafprozessordnung: Praxiskommentar, 2009, no 7 ad <ref-law>; cf. aussi PIERRE-HENRI WINZAP, La procédure de première instance (CPP 328 à CPP 351), in La procédure pénale fédérale, Renate Pfister-Liechti (éd.), 2010, p. 95 ss, p. 103). S'agissant d'un témoignage, l'administration de la preuve n'apparaît pas nécessaire uniquement au regard de son contenu (soit ce que dit le témoin), mais bien plutôt lorsque le jugement dépend de manière décisive du comportement du témoin (soit comment il le dit) (MAX HAURI, op. cit., no 21 ad <ref-law>). Afin de déterminer quel moyen de preuve doit être réitéré, le juge dispose d'un large pouvoir d'appréciation ( NIKLAUS SCHMID, op. cit., no 8 ad <ref-law>; THOMAS FINGERHUTH, in Kommentar zur Schweizerische Strafprozessordnung, Donatsch/Hansjakob/Lieber (éd.), 2010, no 31 ad <ref-law>).
2.2 La cour cantonale a considéré qu'une nouvelle audition du témoin B._ à l'audience d'appel n'était pas nécessaire, dès lors que la condamnation du recourant se fondait sur les déclarations corroborantes de C._. Elle a expliqué pourquoi les déclarations de B._ ne pouvaient être, à elles seules, déterminantes (cf. aussi infra consid. 3.3). Dans ces conditions, la cour cantonale pouvait, sans violation de l'<ref-law>, refuser la requête du recourant tendant à l'audition du témoin B._, avec qui il avait déjà été confronté à deux reprises (cf. arrêt attaqué p. 6).
3. Le recourant reproche à l'autorité précédente d'avoir apprécié arbitrairement les preuves et d'avoir violé le principe in dubio pro reo.
3.1 La présomption d'innocence, ainsi que son corollaire, le principe in dubio pro reo, sont garantis par les art. 14 par. 2 Pacte ONU II, 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP.
Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 4.2 p. 234).
Le Tribunal fédéral examine uniquement sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). Sous peine d'irrecevabilité, l'arbitraire allégué doit être démontré conformément aux exigences de motivation de l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> consid. 5.1 p. 356).
3.2 L'autorité précédente a procédé à une appréciation détaillée des différents témoignages et des déclarations du recourant. Elle a notamment retenu que C._, ex-épouse de B._, avait confirmé les déclarations de ce dernier, soit que c'était le recourant qui lui avait remis l'arme litigieuse en 2006. Elle a également indiqué que C._ avait décrit de manière détaillée comment elle avait aidé son mari à dissimuler cette arme à la police lors de la perquisition de leur logement en 2006 et comment elle avait remis cette arme au recourant, les détails de son récit ne s'inventant pas. L'autorité précédente a souligné que C._ était, au moment de sa déposition, divorcée de B._ et en mauvais termes avec lui. Elle a retenu qu'elle n'avait ainsi aucun intérêt à confirmer les dires de son ex-mari, ni à charger le recourant, d'autant moins que le premier nommé l'avait elle-même chargée. L'autorité précédente a ainsi indiqué être convaincue par la version de B._, confirmée et détaillée par son ex-épouse, estimant sans pertinence que ce dernier ait pu avoir des griefs contre le recourant.
3.3 Contrairement à ce que soutient le recourant, l'autorité précédente a apprécié la crédibilité des déclarations de B._. A cet égard, elle a relevé qu'il fallait les apprécier avec une grande prudence en raison du ressentiment du témoin envers le recourant. C'est pourquoi elle s'est principalement fondée sur les déclarations de C._ qui sont venues confirmer celles de B._ et dont elle a exposé de manière détaillée pourquoi elles étaient crédibles (cf. arrêt attaqué p. 7-8). Même si C._ n'a fait que rapporter les propos de son ex-mari, ceux-ci avaient été tenus au moment de la remise de l'arme, soit à un moment où B._ n'était pas encore en conflit avec le recourant et n'avait donc pas de raison de mentir. Contrairement à ce que prétend le recourant, la conviction de l'autorité précédente ne repose pas sur le parti pris que le recourant est le chef de la mafia turque, mais sur les témoignages concordants et crédibles de B._ et C._. Sur cette base, l'autorité précédente pouvait, sans arbitraire, retenir que le recourant avait disposé sans droit d'une arme à feu, qu'il l'avait remise en 2006 à B._, qu'il l'avait ensuite récupérée à la suite de la perquisition chez ce dernier avant de la lui rendre.
Se référant au témoignage de D._, le recourant prétend qu'il n'est pas possible que B._ ait voulu se protéger de lui avec une arme qu'il lui aurait lui-même remise. L'argument du recourant, outre qu'il n'est pas très clair, est sans pertinence dès lors qu'on ne sait pas si les déclarations du témoin se réfèrent à une période où B._ était déjà en conflit avec le recourant. Elles ne sont en outre pas de nature à mettre en doute les déclarations de B._ et de C._ et à faire apparaître la solution retenue par la cour cantonale comme arbitraire. Mal fondé, le grief doit être rejeté.
3.4 Lorsque le recourant soutient qu'il n'a fait que garder l'arme à la suite de la perquisition de 2006 le temps nécessaire pour pouvoir la restituer à B._ après la perquisition et que son comportement ne remplirait ainsi pas les éléments constitutifs d'une infraction à la LArm, il ne fait qu'opposer, une nouvelle fois, sa propre appréciation des faits à celle de la cour cantonale. Sa critique est appellatoire, partant irrecevable.
3.5 Il résulte de ce qui précède que les critiques du recourant contre l'établissement des faits sont rejetées dans la mesure où recevables.
4. Le recourant ne formule aucune critique recevable fondée sur les faits retenus par la cour cantonale relativement à l'application de l'art. 33 LArm. Il se limite à dire que cette infraction serait prescrite.
Le grief du recourant relatif à la prescription a déjà été examiné par le Tribunal fédéral dans son arrêt du 26 avril 2011 (6B_55/2011 consid. 5.2). Il a été écarté dès lors que les faits reprochés au recourant dataient de l'année 2006 et que la prescription était de 7 ans (art. 333 al. 1 en relation avec l'art. 97 al. 1 let. c CP). Il n'y a pas lieu d'y revenir et la critique du recourant est à cet égard irrecevable. Au demeurant, l'annulation et le renvoi en instance cantonale par le Tribunal fédéral n'a pas fait recommencer à courir la prescription. En effet, en application de l'<ref-law>, la prescription de l'action pénale ne court plus si, avant son échéance, un jugement de première instance a été rendu. Cette interruption est définitive même en cas d'annulation de la décision de première instance et de renvoi du dossier à l'autorité inférieure pour nouveau jugement (arrêt 6B_983/2010 du 19 avril 2011 consid. 4.3.2).
5. 5.1 Le recourant conteste la peine infligée. Il prétend que la cour cantonale devait examiner sa situation personnelle afin de fixer à nouveau sa peine. Il se prévaut en particulier de la dégradation de son état de santé, étant atteint d'un cancer à un stade avancé.
Dans son arrêt du 26 avril 2011 (6B_55/2011 consid. 7), le Tribunal fédéral a laissé ouverte la question de la peine, la déclarant sans objet vu l'admission du recours sur un autre point. Dans l'arrêt attaqué, la cour cantonale a fait application du CPP, en vertu de l'<ref-law>. En application de ce code, la cour cantonale devait considérer que le jugement attaqué l'était dans son ensemble (cf. <ref-law>), dès lors que dans son premier appel le recourant avait conclu à son acquittement de toutes les infractions qui lui étaient reprochées. Cela impliquait de revoir la peine, l'arrêt de renvoi du 26 avril 2011 ne l'excluant par ailleurs pas. Il s'ensuit que la cour cantonale a violé le droit fédéral en refusant d'entrer en matière sur la peine.
Au demeurant, même si le CPP n'était pas applicable, la jurisprudence (rendue sous l'empire de la PPF) permet à l'autorité précédente, en cas de renvoi de la cause pour nouveau jugement, de revoir des points qui ont valablement été mis en cause devant le Tribunal fédéral, mais pas tranchés par cette autorité. Elle autorise également l'autorité précédente à revoir des points qui n'ont pas ou pas valablement été attaqués, mais qui sont intimement liés à ceux sur lesquels le recours a été admis (cf. GILBERT KOLLY, Le pourvoi en nullité à la Cour de cassation pénale du Tribunal fédéral : un aperçu de la pratique, 2004, p. 97 et les arrêts cités). En l'espèce, la question de la validité de la remise en cause de la peine dans le cadre du premier recours devant la cour de céans n'avait pas à être examinée dès lors que la question de la fixation de la peine était intimement liée à celle de la matérialité de l'infraction à la LArm. Ainsi, dans le cadre du renvoi, il incombait à la cour cantonale de traiter à nouveau de la fixation de la peine après s'être prononcée sur l'infraction à la LArm.
5.2 Le recours doit être admis sur la question de la fixation de la peine, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision à cet égard.
6. Le recourant requiert que les conclusions civiles prises par A._ soient rejetées. Celles-ci sont en relation avec l'infraction de contrainte dont le recourant a été définitivement reconnu coupable dans l'arrêt de la cour de céans du 26 avril 2011, qui n'a annulé la décision que s'agissant de la condamnation du recourant pour infraction à la LArm. Les conclusions civiles de A._ ont donc été définitivement tranchées et le grief du recourant est irrecevable. Au demeurant, le recourant soulève ce grief pour la première fois en instance fédérale. Faute d'épuisement des instances cantonales (<ref-law>), le grief est également irrecevable pour cette raison.
7. Le recours doit être partiellement admis (cf. consid. 5 supra). Pour le surplus, il est rejeté dans la mesure où il est recevable. Vu le sort du recours, une partie des frais sera supportée par le recourant (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière. Ce dernier a requis l'assistance judiciaire. Cette requête est sans objet dans la mesure où il obtient gain de cause et peut, à ce titre, prétendre à des dépens réduits de la part du canton (art. 64 al. 2 et 68 al. 1 LTF). Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée dans cette mesure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3. La demande d'assistance judiciaire est rejetée dans la mesure où elle n'est pas sans objet.
4. Le canton de Fribourg versera à l'avocate du recourant une indemnité de 1000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 22 octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
La Greffière: Livet