Faits:
A. B._ a été engagé comme assistant social au Service de X._ , dès le 1er juin 1985.
Dès le début des années nonante, il a commencé à faire l'objet de critiques de la part de ses supérieurs hiérarchiques. Le 30 octobre 1996, A._, chef de X._, a fait savoir à B._ qu'au vu de l'incapacité de ce dernier à modifier sa façon de travailler, il envisageait de résilier ses rapports de travail.
Dès le 13 mai 2000, B._ a présenté une incapacité de travail de 100 %.
A partir du mois de novembre 2001, B._ a recommencé à travailler à plein temps. Le 12 mars 2003, C._, cheffe de service ayant succédé à A._ le 1er avril 2002, a reproché à B._ ses difficultés à délimiter son champ de compétences. A la suite de cet épisode, elle lui a proposé un poste dans le cadre de la communication du service, dans le but de mettre à profit ses compétences informatiques et sa facilité rédactionnelle. B._ a décliné cette offre.
Depuis le 5 mai 2003, B._ a été en incapacité de travail totale.
Ayant repris la direction de X._ en mai 2003, D._ a établi le 4 mai 2004 un "rapport sur les faits, pratiques et attitudes professionnelles reprochés à M. B._, Assistant social de X._", duquel il ressort qu'indépendamment des reproches que l'intéressé a pu adresser à ses supérieurs et au système, des difficultés liées à la mise en oeuvre de la régionalisation de l'action sociale et des conséquences d'une relation conflictuelle avec une cheffe de groupe, les reproches faits à B._ étaient toujours les mêmes et émanaient de différents acteurs au sein de X._ et externes de X._, à savoir: une propension à procéder à une évaluation dramatisante et émotionnelle des situations, une méthode d'intervention trop marquée par l'urgence, un manque de suivi après les interventions en urgence, une grande difficulté à accepter la remise en question et à respecter le cadre méthodologique et administratif fixé par sa hiérarchie, une attitude souvent trop rigide et culpabilisante à l'égard des parents, des retards administratifs souvent importants, y compris dans ses rapports pour la justice et une difficulté à collaborer avec d'autres partenaires de X._ et notamment avec des équipes éducatives d'institutions. D._ a conclu que ces reproches conduisaient pour le moins au constat d'inaptitude avérée de B._ à exercer la fonction d'assistant social auprès de X._, au sens de l'art. 59 de la loi sur le personnel de l'Etat de Vaud, la question d'une résiliation pour justes motifs du contrat d'engagement demeurant ouverte.
Par courrier du 12 mai 2004, D._ a imparti à B._ un délai au 3 juin 2004 pour se déterminer par écrit sur le rapport du 4 mai 2004.
Le 14 mai 2004, B._ a déposé une demande d'investigation auprès du groupe d'intervention Impact, au sens des art. 14 ss du Règlement relatif à la gestion des conflits au travail et à la lutte contre le harcèlement du 9 décembre 2002 (RCTH; RS/VD 172.31.7). Le demandeur souhaitait faire toute la lumière sur les responsabilités à l'origine, selon lui, de son état de santé actuel.
Prenant acte du fait que B._ ne s'était pas déterminé sur le rapport du 4 mai 2004 dans le délai prolongé à cet effet et qu'il renonçait à être entendu lors d'un entretien, le chef de X._ a résilié avec effet immédiat les rapports de travail le 7 juillet 2004.
B. B.a Le 3 septembre 2004, B._ a actionné l'Etat de Vaud devant le Tribunal de Prud'hommes de l'Administration cantonale vaudoise (ci-après: TRIPAC), en concluant préliminairement à ce que la procédure soit suspendue jusqu'au dépôt du rapport final du groupe Impact, principalement à ce que l'Etat de Vaud soit reconnu comme son débiteur des sommes de 91'860 fr. (à titre d'indemnité pour résiliation injustifiée des rapports de travail) et 28'578 fr. 65 (à titre de salaire); subsidiairement à ce que l'Etat de Vaud soit reconnu comme son débiteur des sommes de 22'965 fr. (en application de l'art. 337c al. 1 CO) et 45'930 fr. (en application de l'art. 337c al. 3 CO), le tout avec intérêt à 5 % l'an dès le 8 juillet 2004. Le demandeur a complété ses conclusions en cours d'instance, concluant à ce que l'Etat de Vaud soit reconnu comme son débiteur d'une somme de 464'822 fr. à titre de manque à gagner pour la période du 1er juillet 2004 au 30 novembre 2017, d'une somme de 100'000 fr. à titre d'indemnité pour tort moral et d'une somme de 400'000 fr. à titre de perte sur rente. Le Tribunal a procédé à l'audition de plusieurs témoins. Une expertise médicale a en outre été ordonnée et confiée au docteur U._ (cf. rapport d'expertise du 12 mars 2007).
Par lettre du 27 septembre 2004, la Caisse de pensions de l'Etat de Vaud a informé B._ qu'il serait mis au bénéfice d'une pension d'invalidité totale avec effet au 1er juillet 2004.
Au mois de septembre 2005, le groupe Impact a rendu son rapport, lequel conclut à l'existence d'un harcèlement de la part de X._ à l'égard de B._.
Par jugement du 24 novembre 2010, le TRIPAC a condamné l'Etat de Vaud à payer à B._ la somme brute de 5'840 fr. 70, sous déduction des charges sociales (correspondant à des dommages-intérêts pour licenciement immédiat injustifié au sens de l'art. 337c al. 1 CO) et la somme nette de 33'171 fr. 60 avec intérêt à 5 % l'an dès le 8 juillet 2004 (correspondant à l'indemnité fondée sur l'art. 337c al. 3 CO) ainsi que la somme de 5'000 fr. (à titre d'indemnité pour tort moral) avec intérêt à 5 % l'an dès le 7 mars 2006. Le tribunal a débouté B._ de ses prétentions en dommages et intérêts au titre du gain manqué pour la période du 1er juillet 2004 au 30 novembre 2017 et au titre du dommage de rente.
B.b Statuant le 13 mai 2011 sur recours de B._ et recours joint de l'Etat de Vaud, la Chambre des recours du Tribunal cantonal du canton de Vaud a réformé le jugement du TRIPAC en ce sens qu'il a condamné l'Etat de Vaud à payer à B._ la somme de 12'000 fr. avec intérêt à 5 % l'an dès le 7 mars 2006 à titre de réparation morale. Pour le reste, il a rejeté les prétentions du demandeur.
C. Contre le jugement de la Chambre des recours, B._ interjette un recours en matière civile et un recours constitutionnel subsidiaire. Il demande préalablement au Tribunal fédéral d'ordonner la mise en oeuvre d'une expertise auprès d'un actuaire afin de chiffrer sa perte de gain et sa perte sur rente. Au principal, il conclut à la réforme du jugement entrepris en ce sens que l'Etat de Vaud est reconnu comme son débiteur des sommes de 91'860 fr. (à titre d'indemnité pour licenciement injustifié), 100'000 fr. (à titre d'indemnité pour tort moral), et 464'822 fr. (à titre de "réparation du dommage matériel"), le tout avec intérêts. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause en première instance pour nouvelle décision.
L'Etat de Vaud conclut préalablement au rejet de la demande d'expertise, principalement au rejet du recours.
Considérant en droit:
1. Comme cela ressort du jugement attaqué, les rapports de travail du recourant étaient soumis à la loi sur le personnel de l'Etat de Vaud du 12 novembre 2001 (LPers-VD; RS/VD 172.31), dans sa teneur en vigueur jusqu'au 31 décembre 2010. La présente cause est donc une contestation pécuniaire en matière de rapports de travail de droit public, qui ne tombe pas sous le coup de l'exception de l'art. 83 let. g LTF. Conformément à ce que prescrit l'art. 112 al. 1 let. d LTF, la Chambre des recours a mentionné la valeur litigieuse, laquelle dépasse largement le seuil requis de 15'000 fr. (art. 85 al. 1 let. b LTF). Il convient dès lors d'examiner les griefs soulevés par le recourant sous l'angle du recours en matière de droit public, nonobstant l'intitulé erroné du présent recours (ATF 134 III 379 consid. 1.2 p. 382). La voie du recours en matière de droit public étant ouverte, celle du recours constitutionnel subsidiaire ne l'est pas (art. 113 LTF).
Le recours a par ailleurs été introduit en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 al. 1 à 3 LTF).
2. Invoquant une constatation manifestement inexacte des faits, le recourant fait grief à la juridiction cantonale d'avoir retenu "un état de fait tendancieux, strictement relatif aux comportements professionnels du recourant et omis de façon insoutenable de tenir compte des nombreux éléments de faits témoignant du contexte gravement dysfonctionnel dans lequel le recourant a dû oeuvrer et qui, sur bien d'autres collègues que lui, a conduit au désastre". En particulier, les divers moyens de preuve se trouvant au dossier (expertise du docteur I._ de 1998, audit de X._ de 2000, rapport du groupe Impact de 2005 et les nombreux témoignages) auraient dû conduire les premiers juges à établir, parallèlement aux griefs reprochés au recourant, un tableau du contexte institutionnel dans lequel ce dernier était contraint d'évoluer.
2.1 Conformément à l'art. 105 al. 1 LTF, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente. L'art. 105 al. 2 LTF ne permet de s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 136 II 304 consid. 2.4 p. 314; 134 V 53 consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF. Le recourant peut critiquer les constatations de fait aux mêmes conditions, si la correction du vice soulevé est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Il lui appartient de démontrer que ces conditions sont réalisées, par une argumentation répondant aux exigences de motivation de l'art. 42 al. 2 LTF (cf. ATF 133 II 249 consid. 1.4.3 p. 254 s.).
2.2 En l'espèce, le recourant développe de manière très générale sa propre appréciation des multiples aspects du litige qui l'oppose depuis des années à son employeur. Il mentionne divers moyens de preuve se trouvant au dossier qui auraient dû, selon lui, conduire les premiers juges à mieux cerner le contexte dans lequel il a exercé son activité professionnelle, mais n'expose pas précisément quels sont les faits qui auraient été établis de manière manifestement inexacte par l'autorité intimée, ni l'influence qu'ils auraient pu exercer sur le sort du litige (art. 97 LTF). L'argumentation présentée dans l'écriture de recours ne répond donc pas sur ce point aux exigences de motivation déduites de l'art. 42 al. 2 LTF. Dans ces conditions, il n'y a pas lieu de s'écarter des faits retenus dans la décision attaquée.
3. Sur le fond, le recourant se plaint d'une application arbitraire de l'art. 57 al. 1 LPers-VD, aux termes duquel le contrat de travail prend automatiquement fin dès le jour précédent le droit à une prestation d'invalidité totale et définitive. Il critique le raisonnement des premiers juges selon lequel il ne pourrait faire valoir de prétentions à l'encontre de son ancien employeur sur la base de l'art. 337c al. 1 et 3 CO - applicables à titre de droit cantonal supplétif en vertu du renvoi de l'art. 61 al. 2 LPers-VD -, dès lors que son contrat de travail aurait pris fin, de par la loi, antérieurement à la résiliation litigieuse des rapports de service. Selon le recourant, une telle argumentation violerait les principes de l'égalité de traitement, de la bonne foi et de la sécurité du droit.
3.1 Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle restreint de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. ATF 134 II 349 consid. 3 p. 351 s.; 133 II 249 consid. 1.4.2 p. 254 et les références). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. En outre, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (ATF 137 I 1 consid. 2.4 p. 5; 136 III 552 consid. 4.2 p. 560).
3.2 En l'espèce, le recourant ne démontre pas, de manière conforme aux exigences de motivation de l'art. 106 al. 2 LTF, en quoi l'interprétation de l'art. 57 al. 1 LPers-VD par les premiers juges violerait les principes constitutionnels invoqués. Quoi qu'il en soit, il n'est pas arbitraire de considérer que l'invalidité totale et définitive s'oppose objectivement à la continuation des rapports de travail, de sorte que le congé donné à un employé postérieurement à la date à laquelle il a été reconnu entièrement invalide est nul. Cette réglementation a par ailleurs toute sa raison d'être puisqu'elle consacre le principe selon lequel un employé ne saurait prétendre simultanément à un droit au salaire et à des prestations d'invalidité, à tout le moins lorsque celle-ci est totale et définitive. Par conséquent, l'arrêt attaqué ne consacre aucune application arbitraire du droit cantonal.
4. 4.1 Selon le recourant, il serait par ailleurs "profondément choquant" que les juges cantonaux aient admis le principe d'une indemnité pour tort moral en raison d'une violation de ses droits de la personnalité et rejeté, dans le même temps, ses prétentions en dommages-intérêts (perte de salaire et perte sur pension). Il soutient que la juridiction cantonale a versé dans l'arbitraire en niant l'existence d'un lien de causalité entre les manquements de l'employeur et le dommage allégué.
4.2 Le recourant n'explique pas, conformément aux exigences de motivation de l'art. 42 al. 2 LTF, le fondement juridique de ses prétentions pour perte de salaire et perte de rente. Les premiers juges ont estimé que quel que soit le fondement juridique de ces prétentions (art. 41, 97 ou 328 CO), l'employeur ne répondait des atteintes causées à la santé de son employé que s'il existait un lien de causalité naturelle et adéquate entre les manquements de l'employeur et le dommage invoqué, ce qu'ils ont nié en l'espèce.
Déterminer s'il existe un rapport de causalité naturelle entre la violation des droits de la personnalité du recourant et la perte de gain liée à une incapacité de travail totale est une question de fait (ATF 133 III 462 consid. 4.4.2 p. 470; 132 III 715 consid. 2.2 p. 718), de sorte que les constatations de la cour cantonale y relatives lient le Tribunal fédéral, qui ne peut s'en écarter que si elles ont été établies de façon manifestement inexacte ou en violation du droit. Tel n'est pas le cas en l'espèce. Les constatations de la juridiction cantonale selon lesquelles le lien de causalité entre les violations des droits de la personnalité du recourant et le dommage allégué n'est pas établi n'apparaissent pas arbitraires. Elles reposent sur les conclusions de l'expertise du docteur U._, dont il ressort que si les conditions de travail ont contribué de manière limitée aux troubles psychiques du recourant, elles ne peuvent expliquer l'importance et la durée de ceux-ci. En outre, la maladie principalement invalidante qui a conduit à l'octroi d'une rente est le cancer du rectum dont a souffert le recourant, le trouble dépressif récurrent étant considéré comme une affection additionnelle. Ces constatations suffisent à entraîner le rejet des prétentions invoquées, quel que puisse être leur fondement.
5. Le recourant conteste encore la quotité de l'indemnité pour tort moral qui lui a été allouée, par 12'000 fr.
5.1 Le travailleur qui subit, du fait de son employeur, une atteinte à sa personnalité protégée par l'art. 328 al. 1 CO, peut prétendre à une indemnité pour tort moral aux conditions fixées par l'art. 49 al. 1 CO (cf. art. 99 al. 3 CO). L'art. 328 CO n'est pas applicable comme tel aux rapports de droit public entre un fonctionnaire cantonal et l'Etat (art. 342 al. 1 CO). Les dispositions du code des obligations seront tout au plus applicables par analogie, en cas de lacune dans les dispositions de droit public. Comme en droit privé cependant, l'Etat a le devoir de protéger ses agents pour leur permettre d'exercer leurs fonctions; il doit notamment éviter qu'ils ne subissent une atteinte illicite à leur personnalité, au sens des art. 28 ss CC (cf. arrêt 2C.2/2000 du 4 avril 2003 consid. 2.3). L'art. 5 al. 3 LPers-VD prévoit à cet égard que le Conseil d'Etat prend les mesures nécessaires à la protection de la santé et de la personnalité des collaborateurs, en particulier par des dispositions de lutte contre le harcèlement et le mobbing. Comme la LPers-VD ne contient pas de dispositions particulières concernant l'évaluation du tort moral, il convient de s'inspirer des principes tirés de l'art. 49 CO, appliqués à titre de droit cantonal supplétif (cf. notamment les arrêts 6B_434/2008 du 29 octobre 2008 consid. 4.1 et 4C.145/1994 du 12 février 2002 consid. 5a), dont l'application ne peut être revue que sous l'angle de l'arbitraire (art. 95 LTF).
5.2 En l'espèce, les premiers juges ont considéré que l'autorité précédente avait insuffisamment pris en compte la gravité des agissements de l'employeur, à savoir le fait que le recourant avait été écarté de son activité professionnelle par sa hiérarchie sans qu'une procédure d'avertissement n'ait été mise en oeuvre, qu'il s'est vu interdire de reprendre son activité à l'issue d'une absence pour raisons de santé ainsi que le manque de clarté et d'encadrement et des difficultés relationnelles non réglées. Aussi, la cour cantonale a-t-elle porté l'indemnité pour tort moral de 5'000 fr. à 12'000 fr.
5.3 En matière civile et à titre de comparaison, on relèvera que le Tribunal fédéral a considéré que le versement d'un montant de 25'000 fr. à une femme ayant été harcelée pendant près d'une année, ce qui lui avait causé d'importants troubles psychiques, entraînant une invalidité et une incapacité totale de travailler, constituait la limite supérieure admissible (arrêt 4C.343/2003 du 13 octobre 2004 consid. 8.2). A l'autre extrême, une somme de 5'000 fr. allouée à une employée harcelée sexuellement par son supérieur, qui avait été atteinte dans sa santé et plongée dans des états d'anxiété et de dépression, a été admise (arrêt 4C.310/1998 du 8 janvier 1999, publié in SJ 1999 I p. 277 consid. 4b et c). Entre ces deux limites, le Tribunal fédéral a confirmé une indemnité pour tort moral de 12'000 fr. allouée à une jeune fille mineure qui s'était vu imposer des conditions de travail inacceptables, proches de l'esclavage durant 13 mois (arrêt 4C.94/2003 du 23 avril 2004 consid. 5.3 et 5.4).
5.4 Dans ces circonstances, il n'apparaît pas qu'en fixant l'indemnité pour tort moral à 12'000 fr., les premiers juges aient fait une application arbitraire des principes tirés de l'art. 49 CO.
6. Il s'ensuit que le recours doit être rejeté, aux frais du recourant qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière civile, traité comme recours en matière de droit publique, est rejeté.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lucerne, le 27 juillet 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin