Faits: A. Né en 1955, X._ est titulaire depuis 1983 d'une maîtrise en théologie protestante de l'Université des sciences humaines de Strasbourg. Par contrat de droit privé du 25 septembre 1986 prenant effet dès le 1er décembre 1986, l'Etat de Vaud l'a engagé en qualité de pasteur auxiliaire au sein de l'Eglise évangélique réformée du canton de Vaud (ci-après: EERV), dans la paroisse d'Ormont-Dessus. X._ a aussitôt été affilié à la Caisse de pension de l'Etat de Vaud. Le 27 novembre 1987, le Conseil d'Etat du canton de Vaud a ratifié son élection en qualité de pasteur de la paroisse d'Ormont-Dessus. Le 26 juin 1992, le Conseil d'Etat a ratifié son élection en qualité de pasteur de la paroisse de Genolier. Des difficultés relationnelles sont apparues entre le pasteur et certains de ses paroissiens. En 1995, le conseil de paroisse a alors décidé de mettre sur pied une commission chargée d'accompagner le pasteur dans l'exercice de son ministère pour tenter de résoudre ces difficultés. Dans son rapport du 16 mai 1995, ladite commission a notamment relevé que les erreurs commises par le pasteur X._ suscitaient une vague de fond croissante d'oppositions et de critiques à son égard, ce qui rendait l'exercice de son ministère extrêmement douloureux. Elle conseillait au pasteur X._ de mettre lui-même fin à son ministère à Genolier, dès que possible, et d'éviter ainsi le prolongement d'un travail effectué dans des conditions insupportables. Le 26 octobre 1995, la commission a précisé que, malgré les efforts, réels et reconnus, faits de part et d'autre, le climat des relations entre le pasteur et la paroisse restait difficile et douloureux, si bien que le pasteur X._ devait quitter la paroisse. Le 26 novembre 1995, X._ a présenté sa démission avec effet au 31 juillet 1996. Par lettre du 7 décembre 1995, le Conseil synodal de l'Eglise évangélique réformée du canton de Vaud (ci-après: le Conseil synodal) a pris acte de cette démission et l'a informé qu'il avait chargé A._, responsable des ministères, d'examiner des propositions d'accompagnement adéquates; il s'engageait notamment à offrir à X._ un remplacement d'une durée de douze mois, période au cours de laquelle il ferait l'objet d'une évaluation qui déterminerait son aptitude à poursuivre ou non le ministère au sein de l'EERV. B. Le 5 juin 1996, X._, qui souffrait d'un état anxio-dépressif important, a consulté le docteur B._, médecin-psychiatre, qui lui a prescrit un traitement d'antidépresseurs et de tranquillisants, ainsi qu'une psychothérapie. Le 10 juin 1996, l'Etat de Vaud a engagé X._ par contrat de droit privé en qualité de pasteur remplaçant, du 1er août 1996 au 31 juillet 1997, dans la paroisse de Sainte-Croix. Faisant suite à la demande du Conseil synodal, un groupe d'accompagnement de X._ a été constitué. Dirigé par le pasteur A._, il était composé en outre de C._, animatrice de formation pour adultes au sein de l'EERV, de D._, déjà membre de la commission d'accompagnement de Genolier, et du pasteur E._, membre choisi par X._. Ce groupe a rencontré X._ une première fois le 3 septembre 1996. L'objectif de l'accompagnement, arrêté à cette occasion, était double: soutenir et aider l'intéressé dans l'exercice de son ministère d'une part et évaluer son activité en vue de formuler un préavis quant à la poursuite de son ministère au sein de l'EERV. Une série de rencontres a été fixée aux 19 septembre, 29 octobre, 4 décembre 1996 et 15 janvier 1997. Durant la séance du 4 décembre 1996, les relations entre X._ et le groupe d'accompagnement se sont tendues, notamment à la suite d'un échange de vues assez vif entre E._ et X._. Il en a été de même lors de la séance du 15 janvier 1997. C. Le 18 janvier 1997, X._ a été hospitalisé à la demande du docteur B._, qui lui a prescrit un arrêt de travail à 100% du 18 janvier au 6 avril 1997, puis à 50% du 7 avril au 31 juillet 1997. Depuis le 1er août 1997, X._, atteint d'une grave dépression, est entièrement incapable de travailler. Par lettre du 12 août 1997, la Caisse de pensions de l'Etat de Vaud a informé X._ qu'il avait décidé de le mettre au bénéfice d'une pension d'invalidité totale avec effet au 1er août 1997. Par prononcé du 26 mai 1998, l'Office de l'assurance-invalidité pour le canton de Vaud a reconnu X._ invalide à 100% et l'a informé qu'il avait droit à une rente de l'Assurance-invalidité fédérale (AI) avec effet au 1er janvier 1998. D. Le 20 mai 1997, le groupe d'accompagnement a établi son rapport à l'attention du Conseil synodal. Il en résulte notamment que les rencontres ont porté sur la pratique de X._ à Sainte-Croix, que le groupe n'a pas eu de contact direct avec la paroisse de Sainte-Croix et qu'il s'est tenu à ce que X._ pouvait dire de son activité et de ses contacts. Ce rapport relate en outre: " (...) La composante la plus importante des problèmes évoqués par X._ relevait du 'relationnel' (capacité à entrer et à être en relation avec); cette composante relationnelle 'parasite' l'ensemble de l'activité ministérielle de X._ dont la plupart des actes professionnels (prédication, actes ecclésiastiques, catéchisme, organisation) peuvent cependant être considérés en eux-mêmes comme satisfaisants. Le groupe a confronté X._ sur ce point (relationnel); les deux derniers échanges, particulièrement serrés, ont mis en évidence le fait que X._ et le groupe ne pouvaient pas trouver d'accord quant à la suite de la démarche. X._ demandait des preuves et des garanties quant à la cause et à la nature relationnelle de ses difficultés; le groupe ne pouvait que le mettre en face de ses observations et l'inviter à en faire quelque chose. Le groupe a alors constaté qu'il n'était plus possible de poursuivre la démarche et a décidé de s'arrêter. Très peu après sa cinquième rencontre avec le groupe - rencontre au cours de laquelle la confrontation fut particulièrement serrée - X._ est entré dans une période d'arrêt de travail pour maladie. Lors de sa dernière rencontre (sans X._) le groupe a considéré que, en l'état, il n'était pas envisageable de confier à X._ la responsabilité d'un ministère en paroisse." Le 27 mai 1997, X._ a rencontré une délégation du Conseil synodal. Par courrier du 4 juin 1997, le Conseil synodal a confirmé que, sur la base notamment du rapport du groupe d'accompagnement, X._ n'était plus en mesure de poursuivre un ministère dans l'EERV, vu les problèmes relationnels qu'il rencontrait depuis un certain nombre d'années. Le 5 juin 1997, X._ a demandé au Président du conseil de paroisse de Sainte-Croix de pouvoir continuer à être pasteur remplaçant pour une année encore, soit du 1er août 1997 au 31 juillet 1998. Par courrier du 6 juin 1997, A._, responsable des ministères, a informé la paroisse en question que cette demande ne pouvait être acceptée. Le 10 juillet 1998, X._, représenté par un mandataire professionnel, a demandé que sa situation soit réexaminée, qu'il fasse l'objet d'une réhabilitation, que le rôle du groupe d'accompagnement soit stigmatisé et qu'il obtienne une réparation morale, réserve étant faite d'un préjudice financier. Le 29 septembre 1998, le Conseil synodal a, pour l'essentiel, maintenu ses conclusions du 4 juin 1997. Par courrier du 17 novembre 1998, X._ a réitéré sa demande de réexaminer son cas en annonçant, en cas de refus, l'ouverture d'une procédure pour violation des droits de la personnalité du travailleur au sens de l'art. 328 CO. Le 15 février 1999, le Conseil synodal a refusé de reconsidérer ses conclusions. E. Le 29 juillet 1999, X._ a saisi le Tribunal fédéral d'une demande de dommages-intérêts contre l'Etat de Vaud, au sens de l'art. 42 OJ, en concluant à ce que le défendeur soit condamné à lui payer la somme de 225'000 fr., avec intérêts à 5% dès le 1er août 1999. Il fonde son action principalement sur la violation de l'art. 328 al. 1 CO. Dans sa réponse du 5 novembre 1999, l'Etat de Vaud conclut avec suite de frais au rejet des conclusions de la demande. Les parties ont répliqué et dupliqué. Lors de la séance de débats préparatoires du 4 juillet 2000, il a été décidé, avec l'accord des parties, que la procédure serait limitée dans un premier temps à la question du principe de la responsabilité de l'Etat, l'étendue du dommage étant, au besoin, examinée ultérieurement. La mise en oeuvre d'une expertise médicale a été en outre ordonnée. En compagnie d'un second juge (art. 5 al. 3 PCF), le juge délégué a procédé à l'audition de dix-huit témoins lors des audiences des 11, 12 septembre et 30 novembre 2000. Les 5 et 9 octobre 2000, respectivement, la Caisse de pensions de l'Etat de Vaud et l'Office de l'Assurance-invalidité pour le canton de Vaud ont produit leur dossier concernant X._. Par ordonnance du 3 novembre 2000, F._, médecin-directeur de l'Hôpital Y._, a été désigné en qualité d'expert et un questionnaire lui a été soumis. Après de très nombreux rappels du juge délégué, l'expert a finalement établi son rapport le 11 février 2002. Ce rapport d'expertise a été jugé insuffisant. Aussi, le juge délégué a décidé d'ordonner une seconde expertise qui a été confiée au Dr G._, médecin-chef du Centre médico-psychologique de Z._, par ordonnance du 9 octobre 2002. Ce dernier médecin a déposé son rapport le 7 mai 2003. Il a répondu à des questions complémentaires le 30 juin 2003. F. Dans son ordonnance du 1er septembre 2003, le juge délégué a avisé les parties de la clôture de la procédure probatoire et pris acte qu'elles renonçaient aux débats principaux, avec plaidoiries, délibérations et votations. Il leur a fixé un délai pour déposer un mémoire résumant leur position respective. Chacune des parties a déposé son mémoire le 3 novembre 2003.