Faits:
A. Par jugement du 28 juin 2011, le Tribunal de police du canton de Genève a reconnu X._ coupable d'injure et de menaces, l'a condamnée à 40 jours-amende à 70 fr. le jour avec sursis pendant 3 ans, à une amende de 300 fr. allouée à A._ et à verser à cette dernière un montant de 6425 fr. à titre de participation à ses frais d'avocat. Ce jugement faisait suite à l'opposition de X._ à l'ordonnance de condamnation rendue à son encontre le 15 décembre 2010.
A._ a produit devant le Tribunal de police une note d'honoraires pour l'activité de son avocat d'un montant de 5425 fr., correspondant à 15,5 heures.
B. Par arrêt du 20 janvier 2012, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a partiellement admis l'appel de X._. Elle a réduit le montant du jour-amende à 30 fr., le délai d'épreuve à 2 ans, le montant dû à titre de participation aux frais d'avocat de A._ à 5425 fr. et confirmé le jugement pour le surplus. En substance, il a été reproché à X._ d'avoir, à plusieurs reprises, traité A._ notamment de « pute » et de « conne » et de l'avoir menacée de lui « casser les jambes » lors d'appels anonymes et par des messages laissés sur son compte Facebook. Lors d'une rencontre fortuite à l'aéroport de Genève, X._ a interpellé A._ en lui criant en langue arabe « tu n'es qu'une sale pute. Tu vas voir, je vais te casser les jambes pour que tu comprennes ». Il ressort également de la procédure qu'il a été reproché à X._ d'avoir porté plainte pour le vol de son téléphone portable, accusant A._ d'en être l'auteur. Le Tribunal de police a toutefois libéré X._ de l'infraction de dénonciation calomnieuse.
C. X._ forme un recours en matière pénale contre cet arrêt. Elle conclut, principalement, à l'annulation de la décision entreprise et au renvoi de la cause à l'autorité précédente pour nouveau jugement et, subsidiairement, à la réforme de l'arrêt en ce sens qu'elle est condamnée à payer un montant réduit à 2700 fr. à titre de participation aux frais d'avocat de A._. Elle sollicite par ailleurs l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. La recourante conteste avoir menacé l'intimée lors de leur rencontre à l'aéroport, admettant toutefois l'avoir insultée. Elle fait grief à la cour cantonale d'être tombée dans l'arbitraire en retenant la version de l'intimée. La crédibilité de cette dernière serait sujette à caution dès lors qu'elle aurait menti lors du dépôt de sa plainte en prétendant avoir reçu 20 à 30 appels anonymes par jour.
1.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4, p. 313; sur la notion d'arbitraire, v. : <ref-ruling> consid. 2.4 p. 5). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3, p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> c. 5.1 p. 356 et réf. citées).
1.2 En tant que l'argumentation de la recourante consiste, pour l'essentiel, à opposer une nouvelle fois sa propre appréciation des faits à celle de la cour cantonale, elle est largement appellatoire, donc irrecevable. Au demeurant, s'agissant de la crédibilité des parties, la cour cantonale a notamment relevé que la recourante n'avait cessé de modifier ses dires, alors que les déclarations de l'intimée étaient convaincantes, celle-ci n'ayant aucune raison de mentir. La recourante a d'abord nié en bloc tous les faits qui lui étaient reprochés avant d'admettre ceux pour lesquels des preuves irréfutables lui ont été présentées. Elle a également soutenu que l'expression « je vais te casser les jambes » ne constituait pas une menace en arabe, mais une « demande de dégager », ce qui n'a pas été confirmé par l'interprète-juré venu à l'audience. Sur la base de ces éléments, il n'était pas arbitraire de retenir la version de l'intimée plutôt que celle de la recourante. Le grief est rejeté dans la mesure où il est recevable.
2. La recourante invoque une violation de l'<ref-law>.
2.1 L'autorité de première instance a appliqué l'ancienne réglementation cantonale pour les dépens. En revanche, on comprend de la motivation de l'arrêt attaqué que la cour cantonale, statuant après l'entrée en vigueur du nouveau droit de procédure, sur un jugement rendu après le 1er janvier 2011, a examiné la question du remboursement des frais d'avocat de l'intimée pour la procédure de première instance au regard de l'<ref-law>. La recourante ne soulève aucun grief sur l'application des règles de droit transitoire. Selon la doctrine, l'application des règles nouvelles peut se justifier, même lorsque la procédure de première instance était soumise à l'ancien droit, pour des raisons de simplification, pour peu que l'ancien droit cantonal ait connu une réglementation équivalente à celle du nouveau droit (v. sur cette question : NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, Zurich/St-Gall 2010, no 362 et 374). En l'espèce, l'autorité de première instance a considéré que la réglementation cantonale en vigueur jusqu'au 31 décembre 2010 permettait à l'intimée d'obtenir la prise en charge, par la recourante, de la totalité de ses frais d'avocat, pour autant que ceux-ci correspondent à une activité nécessaire et adéquate (cf. jugement de 1ère instance p. 10). L'ancienne réglementation genevoise est ainsi assimilable au système du CPP (cf. infra consid. 2.2). L'application du CPP ne prête donc pas le flanc à la critique.
2.2 Aux termes de l'<ref-law>, la partie plaignante peut demander au prévenu une juste indemnité pour les dépenses occasionnées par la procédure si elle obtient gain de cause (let. a). La partie plaignante adresse ses prétentions à l'autorité pénale et doit les chiffrer et les justifier (al. 2).
La partie plaignante a obtenu gain de cause au sens de cette norme lorsque le prévenu a été condamné et/ou si les prétentions civiles ont été admises (WEHRENBERG/BERNHARD, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, no 6 ad <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, Zürich 2009, no 6 ad <ref-law>). La juste indemnité, notion qui laisse un large pouvoir d'appréciation au juge, couvre les dépenses et les frais nécessaires pour faire valoir le point de vue de la partie plaignante, à l'exclusion de toutes démarches inutiles ou superflues (MIZEL/RÉTORNAZ, in Commentaire romand, Code de procédure pénale suisse, 2011, no 8 ad <ref-law>; SCHMID, op. cit., no 3 ad <ref-law>).
2.3 La recourante fait valoir que l'intimée n'aurait pas entièrement obtenu gain de cause et que cela justifierait une réduction de moitié de l'indemnité allouée à titre de participation à ses frais d'avocat. Elle relève qu'elle a été acquittée du chef d'accusation de dénonciation calomnieuse et qu'elle n'a pas été condamnée pour l'ensemble des appels anonymes reçus par l'intimée.
La cour cantonale a constaté que la dénonciation calomnieuse est une infraction poursuivie d'office et que l'intimée avait uniquement déposé plainte pour injure et menaces, infractions pour lesquelles elle avait obtenu la condamnation de la recourante. Au vu de ces éléments, l'intimée a bien obtenu gain de cause au sens de l'<ref-law>.
L'autorité précédente a considéré que les prétentions de l'intimée étaient raisonnables, tant s'agissant du temps consacré que du tarif horaire imposé. Contrairement à ce que semble penser la recourante, une réduction de l'indemnité ne se justifie pas automatiquement parce que les faits pour lesquels l'intimée a déposé plainte sont plus étendus que ce qui a finalement été retenu par le tribunal. En effet, l'utilité des démarches entreprises ne s'examine pas sous l'angle du résultat obtenu. Les démarches doivent apparaître nécessaires et adéquates pour la défense du point de vue de la partie plaignante raisonnable. En l'espèce, dans le cadre d'une plainte déposée contre inconnu pour des infractions poursuivies uniquement sur plainte, il se justifiait de décrire l'ensemble des faits qui pouvaient constituer une infraction, sous peine que ceux-ci ne puissent pas être poursuivis. Au stade de l'audience de jugement, il était légitime pour l'intimée de plaider la dénonciation calomnieuse, infraction qui n'apparaissait pas d'emblée exclue. Au vu de l'ensemble des circonstances, la cour cantonale pouvait considérer, sans abus ni excès de son pouvoir d'appréciation, qu'une quinzaine d'heures consacrées à ce dossier, qui avait nécessité le dépôt d'une plainte et d'un complément, le suivi de l'instruction, la préparation et la participation à l'audience de jugement, était justifiée, de même que le tarif horaire pratiqué.
3. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). La recourante supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge de la recourante.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 22 juin 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet