Faits:
A. A.a A._, née en 1957, est titulaire d'une licence en sociologie et d'une demi-licence en psychologie. Le 1er avril 1988, elle a été engagée par la Municipalité de Lausanne (ci-après : la municipalité) au Secrétariat X._. Le 1er janvier 1990, elle a été nommée fonctionnaire.
Après avoir travaillé quelque temps en qualité d'assistante sociale, A._ a été transférée, à sa demande, au Service Y._ pour occuper la fonction d'enquêtrice dès le 1er janvier 1991. Sa mission consistait à déterminer et à contrôler les éléments à prendre en compte dans le calcul des prestations complémentaires (PC) pour les gestionnaires PC chargés de se prononcer sur le droit des assurés. Elle avait pour tâches principales d'effectuer les enquêtes PC (compléter les demandes, réunir les informations nécessaires à l'établissement des dossiers, rédiger des rapports sur la situation des assurés, suivre les enquêtes), d'assumer les tâches administratives en rapport avec son secteur (traiter la correspondance, assurer la coordination avec les autres unités et tenir à jour les statistiques), et d'accueillir et d'orienter les personnes au téléphone et au guichet. Elle était également chargée de procéder à la révision quadriennale des dossiers PC.
A.b Jusqu'en avril 1999, A._ a travaillé sous la responsabilité de B._. Après le départ à la retraite de celui-ci, P._, chef du bureau des prestations complémentaires, est devenu son supérieur hiérarchique direct. Celui-ci était secondé par deux assistants, U._ - remplacé en 2006 par R._ -, et J._.
De 1999 à 2003, malgré quelques points à améliorer, le travail fourni par A._ a été jugé globalement satisfaisant par P._. Par la suite, celui-ci lui a fait savoir que ses prestations avaient nettement diminué de qualité et qu'elle ne remplissait pas les objectifs. Il lui a attribué des qualifications suffisantes en 2004 et insuffisantes en 2005. Parallèlement, il a constaté que l'état de santé de A._ se dégradait, ce qui l'a incité à requérir l'avis du médecin-conseil, le docteur D._. Celui-ci a confirmé l'aptitude au travail de la prénommée (rapport du 15 décembre 2006).
A.c Le 15 juin 2007, les supérieurs de A._ l'ont convoquée pour être entendue dans le cadre d'une procédure de mise en demeure au sens de l'art. 71bis du Règlement pour le personnel de l'administration communale de la Ville de Lausanne (RPAC) du 11 octobre 1977. A cette occasion, P._ a passé en revue onze points sur lesquels il estimait que son travail ne donnait pas satisfaction. Il lui était reproché un manque de fiabilité dans les enquêtes, un délai de traitement des dossiers trop long, un suivi inadapté des «suspens», des demandes répétées du même justificatif ou de documents inutiles, un volume de travail insatisfaisant, des écrits peu soignés, une maîtrise insuffisante des outils de travail, un non-respect des consignes et des procédures, une incapacité à évoluer de manière autonome, un rejet de la critique et, enfin, un retard à répondre aux assurés. L'intéressée était mise en demeure de corriger ces insuffisances durant une période probatoire de 6 mois à l'échéance de laquelle un nouveau bilan de ses prestations serait dressé. Elle a également été rendue attentive qu'une procédure de renvoi pour justes motifs serait engagée si aucune amélioration ne devait être constatée au terme de cette période. Une lettre de mise en demeure formelle résumant le contenu de l'audition lui a été notifiée le 21 juin 2007. A._ a exprimé son désaccord sur les manquements soulevés par lettre du 13 août 2007. Dès le 7 janvier 2008, elle a été mise en arrêt maladie et n'a plus repris son travail.
A.d Le bilan de la période probatoire a eu lieu le 28 mars 2008. A._ a été informée que du point de vue de ses supérieurs, les prestations restaient insuffisantes. Le 2 avril suivant, la municipalité l'a suspendue de son obligation de travailler avec maintien du traitement.
A.e Par lettre du 6 mai 2008, A._ a demandé l'ouverture d'une enquête administrative interne pour actes de mobbing à son encontre. Dans une séance du 16 juillet 2008, la municipalité a décidé de ne pas y donner suite, considérant que les actes décrits ne permettaient pas de conclure à un harcèlement, et pris la décision de principe de licencier A._. Celle-ci a demandé à consulter la Commission paritaire qui, après s'être réunie le 26 août 2008, a exprimé l'opinion que la procédure de licenciement était disproportionnée et qu'un déplacement de l'employée dans un autre service de l'administration serait souhaitable.
A.f Par décision du 26 septembre 2008, la municipalité a confirmé sa décision de principe et licencié l'intéressée avec un délai de congé de trois mois pour le 31 décembre 2008 en application de l'art. 70 RPAC.
B. A._ a recouru contre cette décision devant la Cour de droit administratif et public du Tribunal cantonal vaudois en demandant l'effet suspensif. Elle contestait le bien-fondé des reproches qui lui étaient adressés. Ses efforts et ses propositions pour améliorer la situation avaient été injustement déconsidérés par son employeur. Par ailleurs, les pièces du bordereau produit par celui-ci montraient qu'elle avait fait l'objet d'une surveillance et d'un dénigrement systématique de la part de certains de ses collègues à son insu et avec l'approbation de la hiérarchie, ce qui avait permis de monter un dossier à charge contre elle en vue de son licenciement.
Le tribunal cantonal a mandaté O._, médiateur, afin d'examiner si les conditions de collaboration de l'intéressée au sein du service étaient constitutives d'un harcèlement moral. Dans son rapport du 16 juillet 2010, celui-ci a nié l'existence d'actes de mobbing. Il a également déclaré que les éléments résultant de son enquête ne lui avaient pas permis d'établir que la baisse significative des prestations de A._ fût imputable aux conditions de travail. En revanche, il a relevé que la prénommée avait vécu une situation de souffrance professionnelle dans un contexte de santé fragile. Le tribunal cantonal a également entendu divers témoins.
Par décision du 11 février 2009, il a rejeté la requête d'effet suspensif. Statuant sur le fond le 24 novembre 2010, il a admis le recours de A._ et annulé la décision de licenciement du 26 septembre 2008.
C. La municipalité a formé un recours en matière de droit public dans lequel elle conclut à l'annulation de ce jugement et à la confirmation de sa décision.
A._ conclut au rejet du recours.
D. Par ordonnance du 19 avril 2011, le juge instructeur a accordé l'effet suspensif au recours.
Considérant en droit:
1. 1.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. Le litige soumis à l'autorité cantonale ne porte pas sur le versement d'une somme d'argent, mais sur l'annulation d'une décision de licenciement. Dans cette mesure, on peut considérer qu'il s'agit d'une contestation pécuniaire, et le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_907/2010 du 8 juillet 2011 consid. 1.1 et 8C_170/2009 du 25 août 2009 consid. 1.1).
1.2 Pour que le recours soit recevable, il faut encore, en principe, que la valeur litigieuse minimale de 15'000 fr. soit atteinte (art. 85 al. 1 let. b LTF). Vu que la contestation porte potentiellement sur le salaire de plusieurs mois, voire plusieurs années, le seuil de la valeur litigieuse déterminante est donc largement dépassé.
1.3 Selon l'art. 89 al. 2 let. c LTF, les communes et autres collectivités publiques ont qualité pour recourir en invoquant la violation de garanties qui leur sont reconnues par les constitutions cantonale ou fédérale. La municipalité invoque l'autonomie qui lui est reconnue dans le domaine de la gestion du personnel. Il y a donc lieu de lui reconnaître la qualité pour agir sur la base déjà de cette disposition. Au reste, la recourante peut également agir sur la base de l'art. 89 al. 1 LTF, en tant qu'elle est touchée de manière analogue à un employeur privé (cf. ATF 134 I 204 consid. 2.3 p. 207).
1.4 Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral, le recours respecte les exigences des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2. 2.1 Sous le chapitre «Cessation des fonctions» et le titre marginal «Renvoi pour justes motifs», l'art. 70 RPAC (état au 1er février 2007) prévoit que la municipalité peut en tout temps licencier un fonctionnaire pour de justes motifs en l'avisant trois mois à l'avance au moins si la nature des motifs ou de la fonction n'exige pas un départ immédiat (al. 1). D'après l'alinéa 2, constituent de justes motifs l'incapacité ou l'insuffisance dans l'exercice de la fonction et toutes autres circonstances qui font que, selon les règles de la bonne foi, la poursuite des rapports de service ne peut être exigée.
2.2 L'art. 71bis RPAC prévoit une mise en demeure pour les cas où un licenciement avec effet immédiat ne s'impose pas. Le licenciement doit alors être précédé d'une mise en demeure formelle écrite, assortie d'une menace de licenciement si le fonctionnaire ne remédie pas à la situation. Selon les circonstances, cette mise en demeure peut être répétée à plusieurs reprises.
2.3 Enfin, si la nature des justes motifs le permet, la municipalité peut ordonner, à la place du licenciement, le déplacement du fonctionnaire dans une autre fonction (art. 72 RPAC).
3. Le jugement attaqué repose sur une double motivation.
3.1 En premier lieu, la juridiction cantonale a considéré que les insuffisances professionnelles invoquées par l'employeur pour justifier le licenciement de A._ n'étaient pas suffisamment étayées. En particulier, la municipalité avait échoué à établir que la prénommée effectuait des enquêtes lacunaires et peu fiables dès lors qu'elle n'avait avancé aucun chiffre concret permettant d'évaluer la proportion d'enquêtes retournées à A._, et renoncé à l'audition des gestionnaires PC supposés mécontents du travail de celle-ci. La même conclusion s'imposait en ce qui concernait les erreurs d'orthographe, les retards dans le traitement des dossiers ou encore le volume de travail insatisfaisant, faute pour l'employeur d'avoir mis à disposition du tribunal des éléments de preuve tels que des courriers rédigés par A._ et des statistiques sur le nombre d'enquêtes qui lui étaient attribuées par rapport à ses autres collègues ou sur les retards qui lui étaient imputables. Quant aux reproches liés aux difficultés de l'intéressée à se conformer aux directives reçues - par exemple celles relatives à l'horaire de passage au domicile des assurés - et à son manque d'autonomie dans le travail, ils étaient certes documentés au dossier mais ne présentaient pas un caractère de gravité suffisant pour entraîner un renvoi.
3.2 En second lieu, la juridiction cantonale a estimé que même s'il fallait reconnaître un travail insatisfaisant, le licenciement était abusif, l'employeur n'ayant pas satisfait à son devoir de protection de la personnalité de son employée. A cet égard, les premiers juges ont constaté que A._ partageait son bureau avec S._ et que celui-ci avait développé au fil du temps une animosité profonde à son égard, ce qui l'avait conduit, dès 2004, à surveiller ses faits et gestes et à émettre systématiquement des critiques sur son comportement et sa manière de travailler dans les rapports de travail mensuels qu'il établissait à l'intention de leur chef direct. Or, à partir de cette même période, A._ avait commencé à se voir reprocher des prestations insuffisantes et à rencontrer des problèmes de santé à l'origine de nombreuses absences pour maladie. Au lieu de réagir devant l'hostilité croissante ouvertement exprimée par S._, l'employeur était resté passif, tolérant la situation de stigmatisation dans laquelle se trouvait son employée et attendant le mois d'avril 2007 pour déplacer le prénommé dans un autre bureau. Toujours selon les premiers juges, il fallait admettre, dans ces circonstances et en dépit de l'absence de mobbing avéré, que l'employeur avait contribué à la dégradation des conditions de travail de A._ et, de ce fait, à une baisse de ses prestations.
4. La recourante se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). La partie recourante ne peut critiquer les constatations de faits que si ceux-ci ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF, en particulier en violation de l'interdiction constitutionnelle de l'arbitraire. La violation peut consister en un état de faits incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier ou contraire au sens de la justice et de l'équité ou encore lorsque le juge a interprété les pièces du dossier de manière insoutenable, a méconnu des preuves pertinentes ou s'est fondé exclusivement sur une partie des moyens de preuve (ATF 134 V 53 consid. 4.3 p. 62; 120 Ia 31 consid. 4b p. 40; 118 Ia 28 consid. 1b p. 30).
5. 5.1 Sur la question de l'existence de justes motifs de licenciement, la recourante reproche à la juridiction cantonale d'avoir fait fi des nombreux documents qu'elle avait produits à l'appui de sa réponse et dans lesquels les supérieurs directs de A._ avaient constaté, exemples à l'appui, les multiples carences de celle-ci sur tous les onze points qui avaient fait l'objet de la mise en demeure du 21 juin 2007. Elle cite notamment les rapports de travail mensuels établis par U._, R._, J._ sur la période de janvier 2004 à décembre 2007, les notes de service de P._, ainsi que les entretiens de collaboration de A._ (classeur VIII A-L). Devant ces éléments de preuve convergents, elle soutient avoir démontré à satisfaction de droit que les prestations de son employée étaient devenues à ce point insuffisantes qu'il n'était plus possible de la garder dans le service, ni même d'envisager son déplacement dans une autre fonction.
5.2 Il appartient en premier lieu aux supérieurs hiérarchiques, ainsi qu'à l'autorité compétente de qualifier les prestations de l'employé, du moment qu'ils peuvent le mieux évaluer le travail quotidien et apprécier le comportement de l'intéressé (cf. ATF 118 Ib 164 consid. 4b p. 166 s.; arrêt 8C_358/2009 du 8 mars 2010 consid. 4.2.1).
5.3 Dans les documents cités par la recourante, en particulier dans les rapports de travail mensuels des assistants de P._, on trouve, en l'occurrence, un nombre considérable d'observations négatives sur le travail de l'intimée. Il y est relevé, par exemple, qu'en janvier 2006, A._ n'avait toujours pas traité de nombreuses demandes PC entrées au début de l'année précédente (rapport de R._ du 10 janvier 2006), qu'entre avril 2006 à février 2007, 45 dossiers d'enquêtes avaient dû lui être retournés pour être complétés contre seulement 9 à S._ (rapport de R._ du 5 mars 2007), qu'elle commettait des fautes susceptibles de conduire à des prises de décision erronées (rapports de J._ du 4 novembre 2005 et 6 juin 2006), que le suivi de ses dossiers était inadapté (rapports de U._ du 5 juillet 2005, de J._ du 5 janvier 2007 et de R._ du 5 septembre 2007), qu'une part significative de ses courriers remis pour signature nécessitait régulièrement des corrections (rapports de J._ des 10 avril 2006 et 6 février 2007), qu'il lui arrivait souvent de demander le même justificatif plusieurs fois, ce qui engendrait des pertes de temps inutiles (rapports de R._ des 2 mars et 3 avril 2006 et de J._ du 6 juin 2006), qu'elle persistait à ne pas mettre en pratique certaines directives (rapports de J._ des 9 août 2006 et 8 août 2007), qu'elle se perdait dans les dossiers (rapport de R._ du 5 juillet 2006), ou encore qu'elle ne maîtrisait pas les outils de travail (rapports de J._ du 6 février 2007 et de R._ du 5 octobre 2007). On retrouve des remarques critiques de même nature dans les documents relatifs à ses qualifications.
5.4 Alors que ces pièces mentionnent des faits objectifs qui ont indubitablement une pertinence pour apprécier l'existence de justes motifs de licenciement au sens de l'art. 70 al. 2 LPAC, on constate que les premiers juges en ont largement fait abstraction sans indiquer pour quelle raison il y aurait lieu de ne pas les prendre en considération. Le jugement entrepris ne comprend en vérité aucune discussion des éléments en défaveur de l'intimée soumis par la recourante que ce soit sous la forme de témoignages (voir par exemple les déclarations de P._ et U._) ou de documents internes au service, tandis qu'il accorde d'emblée un poids déterminant aux objections de celle-ci. Il est également pour le moins discutable d'ignorer les pièces dans lesquelles il est question de la qualité des enquêtes de l'intimée pour retenir en défaveur de la recourante le fait qu'elle a renoncé à demander l'audition des gestionnaires PC. En définitive, on a l'impression que les juges cantonaux ont voulu sanctionner l'employeur pour avoir toléré que plusieurs de ses collaborateurs dévoient la finalité originelle des rapports de travail mensuels - celle de fournir au supérieur hiérarchique des informations sur le fonctionnement du service à des fins statistiques - en les utilisant comme un exutoire contre l'intimée, et pour s'en être servi comme d'un outil de contrôle du travail de celle-ci. Cependant, s'ils estimaient que ce procédé était illégal et constituait un motif valable de ne pas tenir compte de ces pièces, il leur incombait d'en faire la démonstration. Dans la mesure où ils ont simplement écarté sans motifs divers éléments de preuve régulièrement administrés et déterminants pour le sort de la procédure, les juges cantonaux ont procédé à un établissement des faits incomplet et arbitraire.
6. 6.1 En ce qui concerne le conflit existant entre S._ et A._, la recourante concède certes une lenteur d'action - en raison de problèmes de place - dans le déplacement de son collaborateur. Elle estime cependant qu'aucun manquement au devoir de protection de la personnalité de l'intimée ne saurait lui être reproché de ce fait. D'une part, A._ ne s'était jamais plainte du comportement de son collègue alors qu'elle en avait eu de multiples occasions, laissant même entendre lors d'un entretien qu'elle s'était accommodée de la situation de rupture de dialogue entre eux. D'autre part, rien au dossier ne permettait de penser que les sentiments d'exaspération de S._ se manifestaient autrement que par les commentaires critiques qu'il faisait dans ses rapports de travail mensuels. Dans la mesure où il n'était nullement établi que le prénommé aurait concrètement entravé l'exécution du travail de l'intimée, l'appréciation des premiers juges selon laquelle la baisse des prestations de cette dernière était imputable aux conditions de travail dans lesquelles elle évoluait, était arbitraire. Elle s'écartait au demeurant des conclusions du médiateur sur l'absence de mobbing et des rapports respectifs des docteurs D._, médecin-conseil, et E._, médecin traitant de l'intimée, qui avaient nié le fait que celle-ci était inapte à exercer sa fonction pour des motifs de santé ou que l'ambiance de travail risquait d'entraîner une atteinte à la santé.
6.2 Il incombe à l'employeur public, comme à l'employeur privé (art. 328 CO), de protéger et respecter la personnalité du travailleur. Cette obligation comprend notamment le devoir de l'employeur d'agir dans certains cas pour calmer la situation conflictuelle et de ne pas rester inactif. Il doit prendre des mesures adéquates si un travailleur fait l'objet d'atteintes de la part de membres du personnel ou de ses supérieurs (voir ATF 127 III 351 consid. 4b/dd p. 355 s.; arrêt 1C_320/2007 du 18 décembre 2007 consid. 3.3). Ainsi, une violation grossière du contrat, comme une atteinte grave au droit de la personnalité (cf. art. 328 CO) dans le contexte d'une résiliation, peut faire apparaître le congé comme abusif. Par exemple, un licenciement peut être qualifié d'abusif lorsqu'il est prononcé en raison des mauvaises prestations du travailleur, si celles-ci se révèlent être consécutives à un mobbing (ATF 125 III 70 consid. 2a p. 72 s.).
6.3 Il est constant qu'un conflit opposait S._ à A._ depuis juillet 2004, à la suite duquel ils ne se sont plus adressé la parole. Selon les constatations cantonales, la mésentente n'a fait que s'empirer du côté de S._ qui s'est mis à contrôler le travail de sa collègue et à la critiquer dans ses rapports à la hiérarchie, sans hésiter à exprimer l'aversion qu'il avait pour elle. Il ne fait pas de doute que la nature et la virulence des propos formulés à l'encontre de A._ appelaient une réaction de la part de l'employeur pour régler ce conflit relationnel qui allait manifestement au-delà d'une tension passagère entre deux collègues de travail. Or, d'après les pièces du dossier, l'employeur ne s'est soucié qu'une seule fois des conséquences préjudiciables que cette situation pouvait avoir sur l'intimée, soit au cours de l'entretien collaboration annuel de septembre 2004. A cette occasion, A._ a fait savoir à P._ qu'elle «n'en [voulait] plus du tout à M. S._». Depuis lors, l'employeur a apparemment considéré qu'il n'était pas nécessaire d'entreprendre quoi que ce soit d'autre alors même que les agissements de S._ ont persisté jusqu'à la date de son déplacement en avril 2007. Même si de l'aveu même de A._, celle-ci avait pris son parti de la rupture de dialogue entre elle et son collègue, il n'en demeure pas moins que la recourante ne pouvait permettre qu'un des ses employés s'immisce dans le travail d'un autre collaborateur et dénigre celui-ci sur une aussi longue période comme l'a fait S._. Aussi, la constatation des premiers juges d'une violation du devoir de protection de l'employeur envers l'intimée n'est pas critiquable.
Pour autant, on ne peut les suivre lorsqu'ils retiennent que la baisse des prestations de A._ résulte de l'absence de mesures prises par la recourante pour désamorcer le conflit existant entre elle et S._. Comme cela ressort de l'ensemble de ses écritures, l'intimée ignorait, jusqu'à l'ouverture de la procédure de licenciement, qu'elle avait fait l'objet d'une surveillance de son collègue de bureau. Par ailleurs, l'opinion des premiers juges se trouve en contradiction claire avec les conclusions du médiateur O._ qui n'a pas pu mettre en évidence d'actes de la part de S._ dont l'intimée aurait directement subi les effets dans l'exécution de son travail. Il est vrai qu'il a fait état d'une souffrance professionnelle, mais il ne l'a nullement liée à la circonstance que l'employeur avait tardé à agir dans ce conflit. Il a observé en outre que les premiers reproches professionnels dataient d'une période fort éloignée du début du conflit (1999) et que l'intimée était souvent malade avant même la survenue des événements en question. De même, les documents médicaux produits au dossier (des docteurs E._ et C._ ainsi que de la psychothérapeute F._) et les témoignages recueillis ne permettent pas d'établir un tel lien de causalité. Ils montrent tout au plus une concomitance dans le temps entre le problème survenu avec S._ en 2004 et la fragilisation de l'état de santé de l'intimée, ce qui est en soi insuffisant à démontrer que le second est le résultat du premier. Les premiers juges n'étaient donc pas fondés à qualifier le licenciement d'abusif pour ce motif. Sur ce point également, le grief d'arbitraire dans l'appréciation des preuves doit être admis.
7. Il découle de ce qui précède, que le recours est bien fondé. La cause doit être renvoyée à l'autorité précédente pour qu'elle procède à un réexamen du cas et qu'elle établisse les faits et apprécie les preuves dans le respect de l'art. 9 Cst. en ce qui concerne la question de l'existence de justes motifs de licenciement. Cette annulation ne préjuge en rien l'issue de la procédure, la Cour de droit administratif et public du Tribunal cantonal vaudois conservant sa liberté pour apprécier l'ensemble des preuves, dans les limites définies au consid. 5.4 supra (cf. arrêt 1C_418/2008 du 27 mai 2009 consid. 2.3).
8. L'intimée, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est admis en ce sens que le jugement attaqué est annulé, la cause étant renvoyée à la Cour de droit administratif et public du Tribunal cantonal vaudois, pour nouvelle décision au sens des considérants.
2. Les frais judiciaires, d'un montant de 2'000 fr., sont mis à la charge de l'intimée.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal vaudois, Cour de droit administratif et public.
Lucerne, le 7 février 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl