Faits:
A. A.a G._, né en 1949, a été engagé dès le 5 janvier 1998 par la Municipalité de Lausanne au Service Z._ de X._. Il y a d'abord occupé le poste "Marketing, division Clients" à titre temporaire jusqu'au 31 mars 1999. Il a ensuite travaillé à titre provisoire comme responsable commercial, avant d'être nommé définitivement à ce poste à compter du 1er avril 2000.
Dès le 1er janvier 2002, l'intéressé a été transféré au nouveau Service commercial de la Direction de X._. Le 22 mai suivant, la cheffe de ce service, F._, a adressé une note de service à G._, dans laquelle elle lui reprochait un manque de suivi des affaires traitées, une organisation hasardeuse et des délais non tenus. A sa demande, un "rapport de l'évolution professionnelle (EP)" du prénommé a été établi le 19 juin 2002 par le Service du personnel et des assurances de la Ville de Lausanne.
A.b A partir du 1er janvier 2003, G._ a été transféré au Service V._ où il avait pour missions, dans la fonction E._ de proposer et créer une politique de communication interne et externe, organiser des séminaires pour les clients et surveiller les marchés en terme de veille concurrentielle (cf. description de poste du 23 avril 2003). Lors de l'entretien de collaboration en décembre 2003, les prestations de l'intéressé ont été qualifiées de globalement bonnes.
Au premier semestre de l'année 2004, A._, ingénieur-chef du Service Y._, auquel l'intéressé a été rattaché, a reproché à G._ de ne pas avoir fourni de plan d'action pour les événements liés à son activité en 2004 (communication du 14 janvier 2004), respectivement de lui avoir fourni un travail "inacceptable" du point de vue de la forme (communication du 10 mai 2004).
Dès le 1er octobre 2004, G._ a travaillé en qualité de responsable commercial au Service D._, où ses prestations ont été considérées comme bonnes pour les années 2004 et 2005. Une année plus tard, lors de l'entretien de collaboration du 11 octobre 2006, R._, chef de service, a attribué la note "bien" aux prestations de G._ dans leur ensemble, certaines exigences n'étant toutefois pas remplies, ni certains objectifs atteints (ou seulement partiellement).
A.c Le 19 janvier 2007, P._, Directeur de X._, a annoncé à G._ qu'il le déchargeait avec effet immédiat de l'élaboration d'une revue de presse quotidienne, et l'a prié de prendre rendez-vous avec son chef de service pour un entretien de collaboration au cours du printemps. Un "rapport d'audit interne et évaluation" a été établi en mars 2007, ensuite de quoi R._ et P._ ont rencontré l'intéressé et lui ont fixé des objectifs (cf. courriel du chef de service du 1er juin 2007). Dans une lettre du 18 juin 2007, le Directeur de X._ a repris par écrit les commentaires qu'il avait faits à G._ et précisé attendre de lui des réalisations et des actions concrètes, et non l'énonciation de règles, ni une délégation à autrui. Le collaborateur s'est exprimé sur les reproches qui lui avaient été adressés, en déplorant notamment qu'il ne disposait d'aucune structure pour l'assister et d'aucun budget (courriel du 27 juin 2007). Pour l'année 2007, les prestations de G._ ont reçu une note intermédiaire entre "bon" et "suffisant", les exigences dans le domaine de la communication interne et sur le plan de l'"évaluation des connaissances, performances et compétences" n'étant pas toutes remplies.
Au cours d'un entretien qui a eu lieu le 4 décembre 2007, le Directeur de X._ a signifié à G._ que son attitude et ses compétences ne donnaient pas satisfaction. Il lui a fait part des faits reprochés en lui demandant de s'exprimer sur ceux-ci et fixé des objectifs à court terme, dont la réalisation allait être contrôlée à la fin de chaque mois, ainsi qu'à moyen terme (fin du mois de mars 2008). Un nouvel entretien a été mené le 10 avril 2008, au cours duquel P._ a constaté que l'intéressé n'avait atteint complètement qu'un objectif sur cinq et deux partiellement, ce qui justifiait une mise en demeure formelle. Aussi, par courrier du 14 avril 2008, G._ a-t-il été averti des objectifs qu'il lui incombait d'atteindre dans un délai de trois mois et du fait qu'en cas d'absence d'amélioration de son travail, une procédure administrative pouvant conduire à un renvoi pour justes motifs allait être ouverte à son encontre. Une nouvelle audition a été fixée au 20 août 2008.
A.d A partir du 1er mai 2008, G._ a été transféré au Service commercial, dont le chef était S._. Celui-ci s'est plaint par courriel du 30 juin 2008 au Directeur de X._ de certains manquements dans le travail de G._. Lors de l'audition prévue (qui a finalement eu lieu le 3 septembre 2008), P._ a indiqué à celui-ci que l'évaluation de son nouveau chef à son endroit était négative et qu'il allait recommander à la Municipalité de Lausanne de prononcer le licenciement pour justes motifs. Un nouvel entretien a encore eu lieu le 3 octobre 2008.
Le 29 octobre 2008, la Municipalité de Lausanne s'est prononcée sur le principe de licenciement, auquel s'est ralliée la Commission paritaire saisie par l'intéressé. Par décision du 25 mars 2009, la Municipalité de Lausanne a licencié G._ pour justes motifs avec effet au 30 juin 2009 et maintenu la suspension ordonnée auparavant.
B. G._ a recouru contre cette décision devant la Cour de droit administratif et public du Tribunal cantonal vaudois, en concluant principalement à son annulation. La juridiction cantonale a tenu une audience le 17 novembre 2010 en présence des parties, au cours de laquelle elle a entendu huit témoins. Après avoir donné aux parties la possibilité de se déterminer sur le résultat des auditions, le Tribunal cantonal vaudois a rejeté le recours et confirmé la décision de la Municipalité de Lausanne du 25 mars 2009 (jugement du 2 décembre 2011).
C. G._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire, en concluant principalement à la réforme de ce jugement en ce sens que la décision de la Municipalité de Lausanne du 25 mars 2009 est annulée. Subsidiairement, il demande l'annulation de cette décision, voire, plus subsidiairement, le renvoi de la cause à la juridiction cantonale pour nouvelle instruction et nouveau jugement "dans le sens des considérants", le tout sous suite de frais et dépens.
La Municipalité de Lausanne conclut au rejet du recours, sous suite de frais et dépens. G._ a encore déposé des observations datées du 26 mars 2012.
Considérant en droit:
1. 1.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre des décisions qui concernent une contestation non pécuniaire. Un litige en cas de licenciement, lorsque le fonctionnaire ne conclut pas au versement d'une somme d'argent, mais requiert l'annulation de la décision de résiliation, ce qui revient à demander à être rétabli dans son statut de fonctionnaire, est une contestation pécuniaire (arrêts 1C_547/2008 du 23 février 2009 consid. 2.1; 1C_116/2007 du 24 septembre 2007 consid. 2). Le motif d'exclusion de l'art. 83 let. g LTF n'entre ainsi pas en considération.
1.2 Pour que le recours soit recevable, il faut encore, en principe, que la valeur litigieuse minimale de 15'000 fr. soit atteinte (art. 85 al. 1 let. b LTF). La contestation porte sur le salaire de plusieurs mois, voire plusieurs années, de sorte que le seuil de la valeur litigieuse déterminante est largement dépassé.
1.3 Pour le surplus, interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
Cette voie de recours étant ouverte, le recours constitutionnel subsidiaire est d'emblée irrecevable (art. 113 LTF).
2. Sur le fond, le litige porte sur le licenciement du recourant pour justes motifs au sens de l'art. 70 du Règlement de la Ville de Lausanne pour le personnel de l'administration communale du 11 octobre 1977 (RPAC).
Le jugement entrepris expose de manière complète la teneur de cette disposition ("Renvoi pour justes motifs"), ainsi que celles relatives à la procédure (art. 71), la mise en demeure (art. 71bis) et le licenciement (art. 71ter), de même que la jurisprudence sur la notion de justes motifs dans le cadre de renvoi de fonctionnaires ou d'employés de l'Etat. Il suffit d'y renvoyer.
3. 3.1 Dans un premier moyen, le recourant reproche à la juridiction cantonale d'avoir violé son droit d'être entendu, en refusant l'audition de trois témoins (B._, T._, L._), dont les déclarations auraient permis d'établir ses propres compétences par rapport à ses successeurs, ainsi que le harcèlement moral qu'aurait subi la dernière personne citée.
3.2 Le droit d'être entendu comporte notamment le droit à l'administration de preuves valablement offertes. Il n'y a toutefois pas violation de ce droit, lorsque la mesure probatoire refusée est inapte à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (ATF 134 I 140 consid. 5.3 p. 148).
3.3 La juridiction cantonale était fondée en l'occurrence à renoncer à l'audition des trois témoins dont le recourant sollicitait l'audition, dès lors que cette offre de preuve n'était pas pertinente. Il ressort des constatations des premiers juges que T._ a été engagé comme auxiliaire après le départ du recourant, alors que L._ lui a succédé comme nouvelle responsable de la communication de X._; B._ était chargée de la gestion des conflits de la Ville de Lausanne. Dès lors que ces personnes n'ont pas travaillé avec le recourant, on ne voit pas comment - et le recourant ne l'explique du reste pas - elles auraient été à même de renseigner le tribunal sur les compétences professionnelles de celui-ci. Il n'apparaissait par ailleurs pas non plus nécessaire d'entendre L._ sur les "problèmes liés au système de gestion [de X._] malgré la certification ISO de ses principaux processus totalement étrangers à la personnalité et aux compétences du recourant", ainsi que sur les difficultés qu'elle aurait, selon celui-ci, rencontrées au sein de X._. Il ne s'agissait en effet pas en l'espèce d'examiner "l'ensemble du fonctionnement interne" de la Municipalité de Lausanne ou les "dysfonctionnements permanents du Service" comme le soutient le recourant, mais bien l'aptitude de celui-ci à accomplir les tâches professionnelles et occuper sa fonction. Quant aux rapports de service qui liaient apparemment L._ à l'intimée, ils ne faisaient manifestement pas partie de l'objet du litige.
4. Examinant le parcours du recourant au sein de X._ et, en particulier, la dernière période de son activité, la juridiction cantonale a considéré que le renvoi pour justes motifs du recourant était justifié au regard de l'ensemble des circonstances. Même si pendant plusieurs années les prestations du recourant avaient été qualifiées positivement lors des entretiens annuels, il ressortait toutefois de différents autres éléments du dossier (notes et commentaires des chefs de service successifs) que le travail de l'intéressé n'avait pas donné satisfaction. En effet, en particulier pendant la période postérieure à l'entretien d'évaluation du 1er octobre 2007, le recourant n'avait pas été en mesure de s'acquitter des tâches qui lui avaient été confiées, les objectifs fixés par ses supérieurs à partir du 1er juin 2007 n'ayant par ailleurs clairement pas été atteints. Ainsi, le recourant avait manqué de fournir un concept de communication lié au marché Z._ et à ses tarifs et d'adopter un comportement pro actif sur le plan de la communication interne. Il avait, de plus, refusé pendant plusieurs mois de donner suite à l'injonction répétée de son supérieur de lui remettre un rapport de ses activités, empêchant celui-ci de contrôler son emploi du temps et ses performances. En résumé, la décision de licenciement, qui faisait suite à une mise en demeure, se justifiait par l'incapacité du recourant à atteindre les objectifs fixés.
5. 5.1 Invoquant une constatation à la fois manifestement inexacte et arbitraire des faits, le recourant reproche à la juridiction cantonale d'avoir retenu surtout des éléments en sa défaveur et relégué à l'arrière-plan les aspects positifs ressortant des entretiens annuels, favorisant "systématiquement les thèses de l'intimée". Selon lui, les premiers juges, qui avaient reconnu une discordance entre les évaluations dont il avait fait l'objet et d'autres pièces produites par l'intimée, étaient tenus de se fonder uniquement sur les rapports de collaboration annuels, "seuls appliqués et reconnus par l'administration". Il se plaint aussi d'avoir été trompé, puisque son employeur l'aurait utilisé en attendant de mieux se débarrasser de lui, et de ne pas avoir été avisé par un "avertissement écrit loyal". Enfin, contestant que son travail "n'était pas bon", il soutient que les éventuelles carences qui pouvaient lui être reprochées étaient liées aux nombreux changements de postes, d'organigramme et de tâches, ainsi qu'à la désorganisation de la Municipalité, alors qu'il avait eu besoin d'une phase d'adaptation nécessaire et légitime.
5.2 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation des faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tirer des constatations insoutenable (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 134 V 53 consid. 4.3 p. 62; 133 II 249 consid. 1.4.3 p. 254 s.).
5.3 Avec son argumentation, le recourant ne démontre pas, en l'espèce, le caractère incomplet ou arbitraire des constatations de fait de la juridiction cantonale. Plutôt que d'exposer en quoi l'appréciation de preuves à laquelle a procédé celle-ci est manifestement insoutenable, le recourant substitue pour l'essentiel sa propre appréciation à celle de l'autorité précédente. En relation avec l'art. 97 LTF, il ne cite ainsi aucun fait concret que les premiers juges auraient omis de constater, ni de circonstance précise qui montrerait que les manquements établis ne correspondraient pas à la réalité.
En particulier, contrairement à ce qu'allègue en vain le recourant, les premiers juges n'avaient pas à fonder leur appréciation exclusivement sur les évaluations annuelles de collaboration, mais bien sur l'ensemble des moyens de preuve au dossier, tels les notes ou courriels rédigés par les chefs de service successifs du recourant, les procès-verbaux des séances avec le Directeur de X._, ou encore les témoignages recueillis en procédure cantonale. Il est également faux de reprocher aux premiers juges une appréciation "à charge" du recourant, puisqu'ils ont expliqué de manière détaillée et nuancée les raisons pour lesquelles l'intéressé devait se voir reprocher des manquements répétés dans les prestations en tout cas depuis 2007, même s'il n'avait pu pleinement se rendre compte auparavant que son travail ne donnait pas vraiment satisfaction. Par ailleurs, à l'inverse de ce que prétend le recourant, un avertissement par écrit lui a été donné, puisque le licenciement a été précédé d'une mise en demeure formelle écrite (au sens de l'art. 71bis RPAC): par courrier du 14 avril 2008, un délai de trois mois a été imparti à G._ pour atteindre les objectifs décrits, à défaut de quoi une procédure pouvant conduire à un renvoi pour justes motifs au sens des art. 70ss RPAC serait ouverte à son encontre. Enfin, l'argumentation relative à un nécessaire temps d'adaptation au vu, entre autres changements, de la modification de son cahier de charges tombe à faux. Comme l'a constaté la juridiction cantonale de manière à lier le Tribunal fédéral, si un certain flou concernant les tâches du recourant avait pu exister pendant les années antérieures, tel n'était plus le cas à partir du 1er juin 2007, date à laquelle des objectifs clairs avaient été fixés au recourant par R._.
5.4 En tant que le recourant réitère ensuite ses critiques à l'encontre de l'appréciation des preuves de la juridiction cantonale, en invoquant un déni de justice et la motivation incomplète de l'arrêt entrepris, ses arguments ne sont pas davantage pertinents. Il se limite à exposer son point de vue - le directeur de X._ a "orchestré le départ objet de la présente procédure"; seuls les rapports d'évaluation annuels font foi; les problèmes pertinents n'ont pas été examinés, ni traités par l'instance précédente -, sans mettre en évidence une lacune ou insuffisance dans les motifs du jugement entrepris.
Au contraire, la juridiction cantonale a motivé sa décision à satisfaction de droit, en expliquant notamment pourquoi elle avait porté une attention plus soutenue sur la dernière période d'activité du recourant (puisque celui-ci avait été invité à ce moment-là à améliorer ses prestations), ainsi que les raisons pour lesquelles le bilan de la période antérieure devait être qualifié d'"en demi-teinte". Au regard des faits qu'elle a constatés à cet égard, que le recourant ne remet pas sérieusement en cause en se limitant à affirmer que son travail avait donné satisfaction de janvier 1998 à octobre 2007, l'appréciation de l'autorité cantonale de recours sur cette période n'apparaît nullement arbitraire. Les premiers juges ont ainsi mis en évidence les critiques exprimées notamment par F._ sur la qualité du travail du recourant en 2002 ou celles de ses autres chefs de service successifs relatives notamment au manque d'engagement et de rigueur dans le respect des délais (cf. note de service du 22 mai 2002, communications des 2 décembre 2003, 14 janvier 2004, 10 mai 2004 et 14 septembre 2006).
6. Il résulte de ce qui précède que les griefs du recourant sont en tous points mal fondés. Le recours doit, partant, être rejeté.
7. Vu l'issue de la procédure, les frais judiciaires y afférents sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). La Municipalité n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lucerne, le 7 décembre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Moser-Szeless