Faits:
A. A.a Le 10 janvier 2010, X._ a publié un article dans le journal "A._" décrivant le comportement de B._, président et administrateur délégué de B._ SA, sous le titre: "B._: des méthodes de gangster".
A.b Par convention du 31 mai 2011, B._ et B._ SA ont retiré la plainte pénale qu'ils avaient déposée contre X._. Les trois précités ont requis la ratification par le Président du Tribunal de l'arrondissement de Lausanne de leur accord pour valoir jugement et que la cause soit rayée du rôle, chaque partie gardant ses frais et renonçant à l'allocation de dépens.
B. Par prononcé du 5 août 2011, le Président du Tribunal de l'arrondissement de Lausanne a pris acte du retrait de plainte, il a ordonné la cessation des poursuites pénales dirigées contre X._ et a mis les frais de la cause, par 750 francs, à la charge de celle-ci.
C. Saisie d'un appel de X._ limité à la question des frais, la Cour d'appel pénale du Tribunal cantonal vaudois a confirmé cette décision par jugement du 21 novembre 2011 et mis les frais de la procédure d'appel à la charge de l'intéressée.
D. X._ interjette un recours en matière pénale au Tribunal fédéral contre cette décision. Elle conclut à l'annulation du jugement attaqué et à ce qu'il soit dit que les frais de la procédure pénale l'opposant à B._ et à B._ SA ne soient pas mis à sa charge, respectivement soient laissés à la charge de l'Etat.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. La recourante invoque à l'appui de son recours les art. 423 et 426 CPP et conteste que le titre de son article de presse constitue une atteinte illicite à la personnalité au sens de l'art. 28 CC.
1.1 L'art. 423 CPP prévoit que les frais de procédure sont mis à la charge de la Confédération ou du canton qui a conduit la procédure, sauf disposition contraire. Selon l'art. 426 al. 2 CPP, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci.
Un retrait de plainte, comme en l'espèce, s'apparente d'un point de vue procédural à un classement (cf. art. 319 al. 1 let. d CPP; Rolf Grädel/Matthias Heiniger in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n. 13 ad art. 319 CPP; Christoph Riedo in: Basler Kommentar, Strafrecht I, 2ème éd., 2007, n. 24 ad art. 33 CP). En ce sens, l'art. 426 al. 2 CPP est susceptible de s'appliquer dans le cadre d'un retrait de plainte pour une infraction poursuivie sur plainte.
1.2 Selon la jurisprudence du Tribunal fédéral relative aux art. 32 al. 1 Cst. et 6 par. 2 CEDH, un prévenu libéré ne peut être condamné au paiement des frais d'enquête que si, par un comportement juridiquement critiquable, il a donné lieu à l'ouverture de l'action pénale ou en a compliqué l'instruction. La condamnation aux frais d'un prévenu ou d'un accusé libéré ne résulte pas d'une responsabilité pour une faute pénale, mais d'une responsabilité proche du droit civil, née d'un comportement fautif. Il est compatible avec les art. 32 al. 1 Cst. et 6 par. 2 CEDH de mettre les frais à la charge d'un prévenu libéré qui, d'une manière engageant sa responsabilité civile, a manifestement violé une règle de comportement qui peut découler de l'ordre juridique suisse dans son ensemble et a provoqué ainsi l'ouverture d'une enquête pénale ou compliqué celle-ci (ATF 116 Ia 162 consid. 2d p. 171 et consid. 2e p. 175). Le juge doit fonder son prononcé sur des faits incontestés ou déjà clairement établis (ATF 112 Ia 371 consid. 2a in fine p. 374). La condamnation d'un prévenu acquitté à supporter tout ou partie des frais viole en revanche la présomption d'innocence lorsqu'elle laisse entendre directement ou indirectement que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées ou qu'il aurait commis une faute pénale (arrêt 1B_21/2012 du 27 mars 2012 consid. 2.1; 1B_12/2012 du 20 février 2012 consid. 2 et les références citées).
1.3 La cour cantonale, après avoir rappelé les principes posés par l'art. 28 CC, a considéré que tout lecteur moyen de l'article litigieux était censé comprendre que le comportement visé, donc l'entreprise ou l'homme qui l'avait adopté, était celui d'un gangster, soit celui d'un criminel, voire d'un délinquant déployant ses activités dans le crime organisé et n'hésitant pas à recourir à la violence armée. Utilisés dans une recherche d'effet de choc pour titrer par un jugement de valeur négatif un article dénonçant le comportement d'un employeur à l'égard de ses employés, ces termes relevaient manifestement d'une atteinte civilement illicite à l'honneur. Il n'était pas nécessaire de vérifier si elle reposait sur des faits exacts dans la mesure où il s'agissait d'un jugement de valeur inutilement blessant.
1.3 La cour cantonale, après avoir rappelé les principes posés par l'art. 28 CC, a considéré que tout lecteur moyen de l'article litigieux était censé comprendre que le comportement visé, donc l'entreprise ou l'homme qui l'avait adopté, était celui d'un gangster, soit celui d'un criminel, voire d'un délinquant déployant ses activités dans le crime organisé et n'hésitant pas à recourir à la violence armée. Utilisés dans une recherche d'effet de choc pour titrer par un jugement de valeur négatif un article dénonçant le comportement d'un employeur à l'égard de ses employés, ces termes relevaient manifestement d'une atteinte civilement illicite à l'honneur. Il n'était pas nécessaire de vérifier si elle reposait sur des faits exacts dans la mesure où il s'agissait d'un jugement de valeur inutilement blessant.
1.4 1.4.1 La condamnation d'un prévenu acquitté à supporter tout ou partie des frais peut en principe se fonder sur l'art. 28 CC (arrêt 1B_21/2012 du 27 mars 2012 consid. 2.4). Selon cette disposition, celui qui subit une atteinte illicite à sa personnalité peut agir en justice pour sa protection contre toute personne qui y participe (al. 1). Une atteinte est illicite, à moins qu'elle ne soit justifiée par le consentement de la victime, par un intérêt prépondérant privé ou public, ou par la loi (al. 2). L'honneur, comme partie intégrante de la personnalité en droit civil, est une notion clairement plus large que l'honneur protégé pénalement par l'art. 173 CP (ATF 129 III 715 consid. 4.1 p. 722; arrêt 5A_445/2010 du 30 novembre 2010 consid. 3.1).
1.4.2 Il y a atteinte à la personnalité notamment lorsqu'une personne est touchée dans son honneur, à savoir dans la considération morale, sociale ou professionnelle dont elle jouit (ATF 127 III 481 consid. 2b/aa p. 487; 106 II 92 consid. 2a p. 96). Pour juger si une déclaration est propre à entacher une réputation, il faut utiliser des critères objectifs et se placer du point de vue du citoyen moyen, en tenant compte des circonstances, en particulier du contexte dans lequel la déclaration a été émise (ATF 135 III 145 consid. 5.2 p. 152; 129 III 49 consid. 2.2 p. 51; 127 III 481 consid. 2b/aa p. 487; 126 III 209 consid. 3a in fine p. 213). Le patron d'une entreprise doit accepter les critiques de la part de ses employés ou des syndicats, mais celles-ci ne doivent pas dépasser les limites du raisonnable (Bucher, Personnes physiques et protection de la personnalité, 2009, n. 472 p. 103).
Selon la jurisprudence, la mission d'information de la presse ne constitue pas un motif absolu de justification; il est indispensable dans chaque cas de procéder à une pesée entre l'intérêt de la personne concernée à la protection de sa personnalité et celui de la presse à informer le public (ATF 132 III 641 consid. 3.1 et 5.2; 129 III 529 consid. 3.1). L'atteinte à la personnalité ne sera justifiée que dans la mesure où il existe un intérêt public à l'information (ATF 132 III 641 consid. 3.1).
La presse peut atteindre quelqu'un dans sa personnalité de deux manières: d'une part en relatant des faits, d'autre part en les appréciant (ATF 129 III 49 consid. 2.2; 126 III 305 consid. 4b et les arrêts cités).
La diffusion de faits vrais n'est inadmissible que si les faits en question font partie de la sphère secrète ou privée ou si la personne concernée est rabaissée de manière inadmissible parce que la forme de la description est inutilement blessante. La publication de faits inexacts est illicite en elle-même; ce n'est que dans des cas exceptionnels très rares et particuliers que la diffusion de faits faux est justifiée par un intérêt suffisant.
Les opinions, commentaires et jugements de valeur - qui par leur nature ne peuvent être soumis à la preuve de la vérité - sont admissibles s'ils apparaissent fondés en fonction de l'état de fait auquel ils se réfèrent. Toutefois, les jugements de valeur et opinions personnelles peuvent, même s'ils reposent sur des faits exacts, constituer une atteinte à la personnalité lorsqu'ils sont exprimés dans une forme qui rabaisse inutilement la personne. Puisque la publication d'un jugement de valeur relève de la liberté d'expression, il faut faire preuve d'une certaine retenue dans ce domaine lorsque le public peut reconnaître les faits sur lesquels le jugement se fonde. Une opinion caustique doit être acceptée et ne porte atteinte à la personnalité que si elle excède ce qui est admissible et laisse entendre un état de fait qui ne correspond pas à la réalité ou conteste à la personne concernée tout honneur d'être humain ou personnel (ATF 126 III 305 consid. 4b/bb et les références citées; arrêt 5A_641/2011 du 23 février 2012 consid. 7.2.2.2).
1.4.3 Le Tribunal fédéral revoit avec retenue le raisonnement de l'instance cantonale, qui dispose à cet égard d'un certain pouvoir d'appréciation (art. 4 CC; ATF 126 III 209 consid. 3a et l'arrêt cité). Il n'intervient que si la décision s'écarte sans raison sérieuse des règles établies par la jurisprudence ou s'appuie sur des faits qui, en l'occurrence, ne devaient jouer aucun rôle ou encore ne tient, au contraire, pas compte d'éléments qui auraient absolument dû être pris en considération (ATF 126 III 305 consid. 4a p. 306 et les références citées).
1.4.4 Le terme "gangster" peut avoir la signification de membre d'un gang - et avoir comme synonyme bandit ou malfaiteur - ou de crapule, à savoir escroc, pirate, truand ou voleur (Le Petit Robert, édition 2011). Même si, comme la recourante l'affirme, des employés ont été licenciés de manière brutale et illégale au regard des dispositions du code des obligations sur le contrat de travail - ce qui ne résulte toutefois d'aucune décision judiciaire à teneur de l'état de fait cantonal qui lie le Tribunal fédéral (art. 105 al. 1 LTF) - un tel comportement ne constitue pas encore, en lui-même, une infraction pénale à même de justifier l'utilisation du terme litigieux. Quelle que soit l'acception retenue, celui-ci a une connotation largement péjorative qui laisse entendre que la personne ainsi désignée adopte un comportement non seulement particulièrement méprisable, mais également contraire à la loi pénale, et donne l'image d'un délinquant dépourvu de tous scrupules pour arriver à ses fins, ainsi que le relève l'autorité cantonale. Le terme litigieux a été utilisé en outre dans le titre de l'article, ce qui le mettait particulièrement en évidence. La recourante fait valoir qu'elle n'a pas traité B._ de gangster, mais qu'elle a indiqué qu'il utilisait des méthodes de gangster. Une telle distinction ne se justifie toutefois pas dans la mesure où celui qui recourt à des méthodes de gangster ne peut être qualifié différemment.
L'assertion litigieuse était ainsi propre, en soi, à diminuer la considération dont peut bénéficier B._ aux yeux d'un citoyen moyen, non seulement en tant que dirigeant d'une société, mais encore comme individu. Elle se situe bien au-delà d'une simple critique admissible des activités professionnelles de l'intéressé, y compris dans le contexte dans lequel l'expression a été utilisée, dès lors qu'elle attribue à ce dernier une conduite particulièrement méprisable. L'utilisation du terme de "gangster" pour qualifier les méthodes de B._ n'est en outre pas soutenable dans la mesure où il n'est pas constaté que celui-ci se serait livré à des activités délictueuses. Ce terme ne servait en rien les propos figurant dans le reste de l'article et la cour cantonale n'a pas abusé de son pouvoir d'appréciation en le qualifiant d'inutilement blessant. Elle pouvait dès lors considérer en définitive que le terme de "gangster" constituait une atteinte à la personnalité de B._ qui ne pouvait être justifiée par un intérêt public prépondérant.
La recourante a ainsi commis un acte illicite au regard des dispositions de droit civil. La plainte pénale a été déposée à la suite de la publication de l'article contenant le terme litigieux, laquelle a donc provoqué l'ouverture de la procédure. La recourante devait par ailleurs se rendre compte en sa qualité de journaliste que son comportement aurait une telle conséquence et elle a ainsi agi de manière fautive. Enfin, au vu de la motivation de la cour cantonale, la condamnation de la recourante aux frais ne laisse pas entendre, en violation de la présomption d'innocence, qu'elle se serait comportée d'une manière pénalement répréhensible alors même qu'il a été mis fin à l'action pénale sans qu'elle ne soit condamnée. La cour cantonale n'a donc pas violé l'art. 426 al. 2 CPP et le recours est rejeté.
2. La recourante, qui succombe, supporte les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 avril 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
Le Greffier: Rieben