Faits:
A. A.a A._ a été engagée le 1er septembre 2003 par la Ville de X._ en qualité de caissière à la billetterie du théâtre Y._ à un taux d'activité de 50 %.
A.b Au cours de l'année 2006, des problèmes relationnels entre A._ et l'une de ses collègues, B._, ont conduit le Délégué aux Affaires culturelles de l'époque, C._, à intervenir. Cette démarche a été suivie d'une lettre du 3 mai 2006, dans laquelle il était demandé à A._ de tout mettre en oeuvre pour rétablir un climat de travail serein afin de ne pas mettre en péril l'accomplissement des tâches de la billetterie.
A.c En 2007, les prestations et le comportement de A._ ont été évalués positivement, en particulier son aptitude à travailler en équipe a été jugée en bonne évolution.
A.d Durant l'année 2008, l'atmosphère de travail s'est dégradée. A._ s'est plainte d'une surcharge de travail, d'un manque d'écoute de la part de la hiérarchie et de divers autres problèmes liés au fonctionnement de la billetterie; elle a demandé à ce que sa fonction soit réévaluée ou à être mutée à l'interne. Elle a été reçue le 9 décembre 2008 par D._, nouvelle Déléguée aux Affaires culturelles, et E._, cheffe du service des ressources humaines, pour discuter de la situation. Dans une lettre du 16 décembre 2008 résumant cet entretien, celles-ci ont passé en revue les doléances exprimées par A._ et pris acte de sa demande de mutation. Elles l'ont également rendue attentive au fait qu'elle portait une charge émotionnelle influençant négativement la qualité de ses relations au travail et qu'elle devait apprendre à mieux gérer son état émotionnel. A cette fin, il a été décidé d'organiser des mises au point régulières ainsi qu'un cours de formation pour une meilleure gestion du stress.
A.e En 2009, des progrès ont été constatés.
A.f La situation s'est à nouveau détériorée à l'annonce du départ de la collègue B._ pour la fin août 2010. Le remplacement de celle-ci a donné lieu à des échanges de vue et des discussions, parfois vives, entre A._, et le nouveau responsable de la billetterie, F._. Dès le 9 octobre 2010, la prénommée a été mise en arrêt de travail par son médecin traitant. Le 26 octobre 2010, un entretien a eu lieu entre A._, G._, directeur du dicastère, E._, et H._, représentant syndical. L'employeur a rappelé la teneur de cet entretien dans une lettre du 12 novembre 2010. Y étaient évoqués les problèmes relationnels rencontrés par A._ depuis 2006, la tendance problématique de celle-ci à remettre en question les compétences des autres, l'impossibilité pour la commune de donner une suite favorable à sa demande de mutation faute de poste disponible, et le fait qu'il était envisagé de mettre fin à son engagement, étant donné également qu'elle avait déclaré ne pas imaginer pouvoir revenir travailler si la situation à la billetterie ne changeait pas et que le profil du poste ne pouvait pas être modifié.
A.g Invitée à se déterminer avant la prise d'une décision, A._ a contesté les reproches qui lui étaient adressés, faisant grief à l'employeur de n'avoir jamais pris toute la mesure du stress engendré par l'activité de caissière.
A.h Par décision du 21 janvier 2011, le conseil communal a prononcé le licenciement de l'intéressée pour justes motifs, avec un délai de congé de quatre mois pour le 31 mai 2011, en application de l'art. 18 du Règlement général pour le personnel de l'administration communale du 10 novembre 1986 (ci-après: le règlement).
B. Saisi d'un recours contre cette décision, la Cour de droit public du Tribunal cantonal neuchâtelois l'a rejeté, par jugement du 25 mai 2011.
C. A._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire. Sous suite de frais et dépens, elle demande l'annulation du jugement cantonal ainsi que de la décision du 21 janvier 2011.
La commune de X._ conclut au rejet des deux recours dans la mesure où ils sont recevables.
D. Par ordonnance du 10 avril 2012, le juge instructeur a refusé d'accorder l'effet suspensif au recours.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (art. 29 al. 1 LTF; ATF 136 I 42 consid. 1 p. 43; 135 III 329 consid. 1 p. 331).
1.1 Selon l'art. 82 let. a LTF, le Tribunal fédéral connaît des recours contre les décisions rendues dans des causes de droit public. D'après la jurisprudence, la question de savoir si l'on se trouve en présence d'une contestation relevant du droit civil ou du droit public se détermine d'après l'objet du litige. Il est décisif sous cet angle de déterminer si les parties, à considérer leurs allégués, moyens et conclusions, ont élevé des prétentions fondées sur le droit civil ou le droit public et si de telles prétentions sont objectivement litigieuses (ATF 120 II 412 consid. 1b p. 414).
1.2 Alors que la cour de droit public cantonale a implicitement admis sa compétence à raison de la matière pour connaître du litige opposant les parties et statué sur le fond, la recourante prétend pour la première fois en instance fédérale que ses rapports de travail avec la commune de X._ reposent sur un contrat de droit privé. A l'appui de sa thèse, elle fait valoir qu'aucun acte de nomination en qualité de fonctionnaire ne lui aurait été notifié par la commune après son engagement provisoire comme le prévoit l'art. 4 du règlement. Preuve en était que son dossier personnel ne contenait aucune décision de nomination.
1.3 En l'espèce, il n'est pas douteux qu'on se trouve en présence d'un litige en matière de rapports de travail de droit public. Cette conclusion s'impose au vu de la lettre d'engagement de la recourante figurant au dossier, laquelle fait expressément référence pour ce qui a trait au traitement ou aux clauses régissant la période d'essai (avant nomination) au statut de la fonction publique, et de la décision de licenciement portée devant la cour cantonale, qui se fonde sur les dispositions du règlement relatifs à la fin de l'engagement des fonctionnaires. Le moyen nouveau soulevé par la recourante, outre qu'il ne prend appui sur aucun fait établi par les premiers juges, est ainsi en complète contradiction non seulement avec les constatations contenues dans le jugement attaqué - qui lient le Tribunal fédéral (cf. art. 105 al. 1 LTF) - et ses propres allégués en procédure cantonale, à teneur desquels elle bénéficiait du statut de fonctionnaire depuis 2004 (voir la page 2 de son écriture du 23 février 2011), mais également avec les pièces du dossier. On peut encore renvoyer à l'acte de nomination produit par l'intimée avec sa réponse au recours, dont il y a lieu d'admettre la recevabilité (cf. art. 99 al. 1 LTF) compte tenu des allégués tardifs et contradictoires de la recourante.
1.4 Aux termes de l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme ici, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. La recourante ne conclut pas au versement d'une somme d'argent, mais conteste la résiliation de ses rapports de service. Dans cette mesure, on peut considérer qu'il s'agit d'une contestation pécuniaire (voir par exemple les arrêts 8C_170/ 2009 du 25 août 2009 consid. 1.1 et 1C_547/2008 du 23 février 2009 consid. 2.1). Vu que la contestation porte potentiellement sur le salaire de plusieurs mois au moins, le seuil de la valeur litigieuse déterminante (art. 85 al. 1 let. b LTF) est atteint.
1.5 Enfin, le recours a été interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) et dans les formes prescrites par la loi (art. 42 LTF). Il convient donc d'entrer en matière.
1.6 La voie du recours en matière de droit public étant ouverte, le recours constitutionnel subsidiaire est irrecevable (art. 113 LTF).
2. 2.1 Dans un grief formel qu'il convient d'examiner en premier lieu, la recourante invoque une violation de son droit d'être entendue (art. 29 al. 2 Cst.) du fait qu'elle n'a pas eu connaissance de certaines pièces contenues dans le dossier personnel la concernant produit par l'intimée, notamment des procès-verbaux de réunions et des courriels.
2.2 Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit de toute partie de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, le droit d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur leur résultat lorsque ceci est de nature à influer sur la décision à rendre (ATF 135 II 286 consid. 5.1 p. 293; 129 II 497 consid. 2.2 p. 504 s.; 124 II 132 consid. 2b p. 137 et les références). Il comprend notamment le droit de consulter le dossier (ATF 127 V 431 consid. 3a p. 436; 126 I 7 consid. 2b p. 10) qui s'étend à toutes les pièces décisives (ATF 121 I 225 consid. 2a p. 227) et qui garantit que les parties puissent prendre connaissance des éléments fondant la décision et s'exprimer à leur sujet (ATF 129 I 85 consid. 4.1 p. 88 et les références).
2.3 En l'occurrence, la recourante ne prétend pas que l'accès aux pièces de son dossier personnel lui aurait été refusé par la commune de X._ ou par la juridiction cantonale. Il ne ressort pas non plus du dossier qu'elle a demandé à consulter les documents relatifs à son licenciement que ce soit au stade de la procédure administrative ou ultérieurement, en cours de procédure cantonale, quand les premiers juges lui ont transmis, le 17 mars 2011, les déterminations de l'intimée qui faisaient expressément référence à la production d'un bordereau de pièces en annexe. En fait, c'est seulement à la réception du jugement entrepris que la recourante a requis la consultation du dossier cantonal (voir sa lettre du 14 juin 2011). Du moment qu'elle était représentée par un mandataire professionnel depuis novembre 2010 (d'abord par le syndicat suisse des services publics, puis par une avocate) et qu'elle aurait eu tout loisir de déposer une telle requête avant, elle ne saurait de bonne foi se plaindre en dernière instance fédérale d'avoir été tenue dans l'ignorance de certaines pièces du dossier de l'employeur (voir art. 5 al. 3 Cst.; ATF 119 II 386 consid. 1a p. 388; 119 Ia 221 consid. 5a p. 228 ss). Le grief d'une violation de son droit d'être entendue doit par conséquent être rejeté.
3. Sur le fond, la recourante avance deux arguments qui devraient, selon elle, entraîner l'annulation du jugement cantonal.
3.1 D'une part, elle soutient que l'art. 336c CO, qui protège l'employé contre une résiliation en temps inopportun, lui serait applicable et que l'intimée n'avait pas le droit de la licencier en date du 21 janvier 2011 tandis qu'elle se trouvait à ce moment-là encore en arrêt maladie. Telle que l'on peut comprendre son écriture, la recourante fonde son raisonnement sur le fait que la commune de X._ a transféré l'exploitation et l'utilisation du théâtre Y._ à une fondation de droit privé, la fondation Z._, et en tire la conclusion qu'en tant qu'elle travaillait de fait pour un employeur privé, l'intimée ne pouvait faire application de dispositions de droit public moins favorables que celles du droit privé.
3.2 D'autre part, elle fait valoir que les justes motifs invoqués par l'employeur sont insuffisants pour justifier son licenciement. Comme le démontraient les procès-verbaux d'évaluation la concernant, ses prestations n'avaient jamais été remises en cause. Par ailleurs, l'employeur n'avait rien entrepris pour régler les conflits relationnels existant au sein de la billetterie. Enfin, l'intimée avait adopté un comportement contradictoire en résiliant son engagement le 21 janvier 2011 alors que dans une lettre du 10 décembre 2010, le conseil communal s'était enquis auprès d'elle de la date de sa reprise de travail. En bref, son licenciement était abusif.
4. 4.1 C'est en vain que la recourante prend prétexte des arrangements pris par la commune de X._ avec la fondation Z._ au sujet de la gestion du théâtre Y._ pour tenter de discuter le régime auquel sont soumis ses rapports de travail avec l'intimée. Il est en effet établi que A._ bénéficiait du statut de fonctionnaire communale (voir consid. 1. supra), si bien que ce sont les règles régissant ce statut qui lui sont applicables. Or, le règlement ne contient aucune disposition accordant aux fonctionnaires communaux une protection particulière contre le licenciement en cas d'incapacité de travail pour maladie.
4.2 On ajoutera que les rapports de travail de droit public ne sont en principe pas soumis aux dispositions du code des obligations, à l'exception des art. 331 al. 5 et 331a à 331e CO, relatifs aux rapports juridiques avec l'institution de prévoyance (art. 342 al. 1 let. a CO). Le statut de la fonction publique, qui, pour être en général globalement plus favorable, peut ainsi comporter par rapport au code des obligations des contraintes plus sévères sur certains points. De jurisprudence constante, les règles relatives au contrat de travail sont seulement applicables à titre subsidiaire, en cas de lacunes dans la réglementation ou si celle-ci le prévoit (arrêt 8C_200/2011 du 13 janvier 2012, consid. 6.1 et les références citées). Or, la recourante ne prétend pas que tel serait le cas ici, de sorte qu'il n'y a pas lieu de discuter ce point.
5. 5.1 La décision de licenciement litigieuse se fonde sur l'art. 18 du règlement qui prévoit ce qui suit:
1Il peut être mis fin à l'engagement pour justes motifs. Le délai de préavis est de quatre mois.
2Les opinions, notamment syndicales et politiques, ne constituent pas pour l'autorité un juste motif.
3L'autorité a de justes motifs de mettre fin à la fonction lorsque l'intérêt public à la cessation de l'activité l'emporte sur l'intérêt privé au maintien de l'emploi. Constituent notamment de justes motifs l'incapacité professionnelle, les possibilités de changement de poste ayant été étudiées, l'inaptitude à observer les devoirs de fonction, la disparition d'une condition dont dépendait la nomination.
4Une telle décision peut intervenir qu'il y ait ou qu'il n'y ait pas de faute de la part du fonctionnaire.
5.2 Appelé à revoir l'application faite d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. Il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (ATF 136 I 316 consid. 2.2.2 p. 318 s.; 135 V 2 consid. 1.3 p. 4), ce qu'il appartient à la recourante de démontrer en vertu de l'art. 106 al. 2 LTF (ATF 133 II 396 consid. 3.2 p. 400).
5.3 Formulées de manière générale, les critiques de la recourante ne permettent pas de discerner à quels aspects exactement du jugement attaqué elle entend s'en prendre. En tout état de cause, elle n'apporte pas la démonstration que le résultat auquel est parvenu la juridiction cantonale est indéfendable. Celle-ci a constaté que A._ avait connu à intervalles réguliers des problèmes relationnels avec ses collègues et supérieurs, qu'elle avait en plusieurs occasions remis en cause la légitimité et les compétences de sa hiérarchie successive en adoptant parfois un ton autoritaire et irrévérencieux à son égard (voir ses courriels) et, finalement, qu'elle avait fait état de ses difficultés à assumer les exigences de la fonction de caissière et sollicité sa mutation. Or, en l'absence d'élément établissant que l'exercice de cette fonction constituerait un danger pour sa santé, il est admissible de considérer que les circonstances décrites ci-dessus sont de nature à rompre le rapport de confiance nécessaire au maintien de la relation de travail, de sorte que l'intérêt de l'intimée à résilier l'engagement l'emporte sur celui de la recourante à conserver sa fonction. Quant à l'affirmation selon laquelle l'employeur était resté inactif face à ses problèmes, elle est contredite par les faits établis et les pièces du dossier. Enfin, on ne saurait déduire de la lettre citée par la recourante que l'intimée aurait adopté une attitude contradictoire à son égard. Il ne ressort pas des termes de cette lettre que l'employeur entendait revenir sur sa position exprimée le 12 novembre 2010. A._ l'a d'ailleurs bien compris ainsi puisqu'en réponse à ce courrier, elle a informé le conseil communal qu'elle serait en arrêt maladie jusqu'au 31 janvier 2011 tout en réitérant son désaccord quant à la cessation de ses rapports de service fondée sur l'art. 18 du règlement (voir sa lettre du 21 décembre 2010).
6. De ce qui précède, il résulte que le recours est mal fondé.
La recourante, qui succombe, supportera les frais de justice (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais de justice, arrêtés à 2'000 fr., sont mis à la charge de la recourante.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 26 juin 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl