Faits:
A. Du 1er mars au 31 décembre 1994, X._ a travaillé comme employée intérimaire au service de l'Etat de Vaud. Dès le 1er janvier 1995, elle a été engagée par « contrat de droit privé » pour une durée de deux ans, en qualité d'employée de bureau spécialisée au sein du Département cantonal des finances. Le 10 octobre 1995, ce contrat a été prolongé pour une durée indéterminée. A compter du 1er février 1996, X._ a été promue en qualité d'employée d'administration au Département des finances, Administration cantonale des impôts.
Jusqu'à la fin de l'été 1995, X._ a entretenu des rapports amicaux avec sa supérieure hiérarchique A._. Celle-ci a d'abord entouré X._, qui a été fragilisée par deux événements tragiques survenus en 1994: l'explosion de l'immeuble dans lequel elle habitait et son ensevelissement sous les décombres, ainsi que le décès soudain de son mari quelques mois plus tard. A une date indéterminée, mais au plus tard en juin 1995, A._ a déclaré à X._ qu'elle avait éprouvé un sentiment amoureux à son égard. Celle-ci a été choquée et a répondu à sa supérieure qu'elle ne pouvait envisager une relation avec une femme. Après cette déclaration, X._ s'est distancée de A._. A partir de 1996, leurs relations se sont progressivement détériorées. A._ est devenue de plus en plus hostile à l'égard de X._, qui n'était cependant pas sa seule cible. Considérée comme compétente sur le plan professionnel, A._ était excessivement exigeante envers elle-même et ses subordonnés; elle se montrait en outre autoritaire et arrogante et elle utilisait un langage grossier. X._ a dû faire face à l'agressivité de sa supérieure et subir des vexations de sa part. Elle a également été surchargée de travail dès 1996, comme d'autres employés de l'Administration cantonale des impôts. Entre 1995 et 1997, certains collègues de X._ ont été licenciés dans des circonstances houleuses.
Durant l'année 1996, X._ s'est rendue à des consultations médicales à vingt reprises et elle a été en incapacité de travail le 30 avril, les 9 et 10 mai, du 4 au 11 septembre, le 18 octobre, le 12 novembre et du 14 au 22 novembre 1996, ainsi que du 6 au 16 avril 1997. Le matin du 26 juin 1997, elle ne s'est pas présentée à un cours offert par son employeur. Convoquée le lendemain par son supérieur B._, en présence de A._, elle s'est vu reprocher de ne pas avoir averti son employeur de cette absence. Elle a répondu qu'elle ne s'habituait pas aux fiches de l'administration servant à signaler les absences et qu'elle ignorait qu'elle devait aviser ses supérieurs. Elle est ressortie de cet entretien très fâchée, en se plaignant de la manière dont ce reproche lui a été adressé. Le 28 juin 1997, X._ a emporté ses affaires personnelles et déclaré : « je pars, je ne reviendrai plus ». Après des vacances du 30 juin au 13 juillet 1997, X._ s'est trouvée en incapacité de travail du 14 au 16 juillet 1997. Le lendemain, elle ne s'est pas présentée à son poste de travail.
B. Par courrier du 18 juillet 1997, le Chef du Département des finances du canton de Vaud a résilié le contrat de travail de X._ pour le 30 septembre 1997. Ce courrier se référait à des entretiens que l'intéressée aurait eu précédemment avec A._ et le responsable de la section personnel et formation de l'Administration cantonale des impôts. En août 1997, X._ a interpellé le Chef du Département des finances pour se plaindre du caractère injustifié de la résiliation de son contrat de travail. Le Bureau de l'égalité a alors été mandaté pour mener une enquête. Dans son rapport du 26 novembre 1997, il relève que la lumière n'a pas totalement été faite sur les motifs du licenciement, que les « fautes professionnelles graves et nombreuses » évoquées par les supérieurs de X._ n'ont pas été démontrées et qu'il est très vraisemblable que celle-ci a été la cible d'une attitude harcelante sur son lieu de travail, un complément d'enquête étant souhaitable sur ce point. Au terme de ce complément d'enquête, le Bureau de l'égalité a rendu un nouveau rapport le 17 mars 1998. Ce rapport conclut notamment que le témoignage de C._ infirme la thèse du harcèlement sexuel ou psychologique de la part de A._. Se fondant sur ce rapport, le Chef du Département des finances a écrit le 30 avril 1998 à X._ que le congé qui lui a été adressé était valable.
Le 24 septembre 1998, X._ a requis la notification d'un commandement de payer à l'Etat de Vaud portant sur une somme de 100'000 fr. pour « dommages-intérêts, indemnité et tort moral pour harcèlement sexuel et violation des droits de la personnalité commis par A._ au sein de l'Administration cantonale des impôts ». L'Etat de Vaud a fait opposition totale. Par écriture du 11 octobre 1999, X._ a demandé à la Cour civile du Tribunal cantonal du canton de Vaud (ci-après: la Cour civile) d'ordonner la mainlevée définitive de cette opposition et de condamner l'Etat de Vaud à lui verser divers montants. Par jugement du 2 juillet 2007, la Cour civile a condamné l'Etat de Vaud à verser à X._ le montant de 1'079 fr., avec intérêt à 5 % l'an dès le 1er octobre 1997, pour le paiement d'heures supplémentaires. Il a rejeté les autres conclusions de l'intéressée.
C. X._ a recouru contre ce jugement auprès de la Chambre des recours du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des recours), qui a rejeté le recours par arrêt du 23 avril 2008, expédié le 17 juillet 2008. Reprenant l'état de fait de la Cour civile, qui a écarté divers témoignages, la Chambre des recours a considéré en substance que l'existence d'un harcèlement psychologique à l'encontre de X._ n'avait pas été établie. De même, il n'avait pas été démontré que l'employeur de X._ ait commis un acte illicite engageant sa responsabilité: une violation généralisée des droits de la personnalité des collaborateurs de l'Administration cantonale des impôts n'était pas établie et la surcharge générale de travail n'était pas constitutive d'illicéité.
D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral de réformer cet arrêt en ce sens que l'Etat de Vaud soit condamné à lui verser, en sus de l'indemnité de 1'079 fr. pour heures supplémentaires, un montant de 623'177,90 fr., avec intérêt à 5 % l'an dès le 1er octobre 1997. Elle conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à la Chambre des recours. Elle requiert en outre l'octroi de l'assistance judiciaire. L'Etat de Vaud s'est déterminé; il conclut au rejet du recours. La Chambre des recours se réfère aux considérants de son arrêt. X._ et l'Etat de Vaud ont présenté des observations complémentaires.
Considérant en droit:
1. La décision attaquée concerne des rapports de travail de droit public et n'a pas été rendue en matière civile au sens de l'art. 72 LTF. Contrairement à ce qu'indique l'arrêt attaqué, la voie du recours en matière civile n'est dès lors pas ouverte en l'espèce. La voie du recours en matière de droit public selon les art. 82 ss LTF est en principe ouverte pour contester les décisions concernant les rapports de travail de droit public. La contestation étant de nature pécuniaire, le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. Dans la mesure où la recourante conclut au paiement d'une indemnité de plus de 600'000 fr., la valeur litigieuse dépasse largement le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public dans ce domaine (art. 85 al. 1 let. b LTF). Pour le surplus, la recourante a la qualité pour recourir (art. 89 al. 1 let. b et c LTF) et le recours a été interjeté en temps utile, contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral (art. 86 al. 1 let. d, 90 et 100 al. 1 LTF), de sorte qu'il y a lieu d'entrer en matière.
2. Dans un premier grief, la recourante se plaint d'une constatation arbitraire des faits. Elle reproche à la Chambre des recours d'avoir confirmé le jugement de la Cour civile qui écartait ou réduisait fortement la force probante de divers témoignages et de l'expertise judiciaire médicale.
2.1 Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires (art. 9 Cst.; pour une définition de l'arbitraire cf. ATF 134 I 263 consid. 3.1 p. 265 s.; 133 I 149 consid. 3.1 p. 153) lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (ATF 129 I 8 consid. 2.1 p. 9; 127 I 38 consid. 2a p. 41).
2.2 En l'espèce, confirmant l'appréciation de la Cour civile, la Chambre des recours a écarté ou pris en compte partiellement ou avec « retenue » plusieurs témoignages et l'expertise médicale. Pour ce faire, elle a invoqué des motifs variés, retenant au surplus que chacun de ces éléments de preuve pris séparément ne permettait pas de conclure à l'existence d'un mobbing.
Compte tenu des motifs invoqués pour écarter, en tout ou partie, les moyens de preuve en cause, l'appréciation des preuves peut être qualifiée d'insoutenable au sens de la jurisprudence susmentionnée. C'est en tout cas vrai pour l'expertise et les témoignages examinés ci-après, qui sont manifestement susceptibles d'avoir une incidence sur le sort de la cause. Les vices affectant l'arrêt attaqué apparaissent avec d'autant plus d'acuité que le mobbing, ou harcèlement psychologique, peut être admis sur la base d'un faisceau d'indices convergents, car il est généralement difficile à prouver (arrêt 4A_128/2007 du 9 juillet 2007 consid. 2.1 et les arrêts cités).
2.2.1 La Chambre des recours a d'abord estimé que la Cour civile avait eu raison de faire preuve de retenue à l'égard du témoignage de B._, car ce dernier avait fait des déclarations contradictoires. Il est vrai que les explications de ce témoin ont varié au cours du litige. Dans un premier temps, devant le Bureau de l'égalité, il avait déclaré que la recourante « souffrait d'une manie de la persécution », que A._ n'abusait pas de son autorité et que la qualité du travail de la recourante était insuffisante. Par la suite, devant la Cour civile, il a notamment indiqué que la recourante avait été « quelque peu brimée », qu'elle avait été victime d'une « sorte de mobbing » de la part de A._, qui « disqualifiait son travail » la mettait « dans une situation d'échec, ou d'insuffisance professionnelle » et lui faisait subir des « humiliations, vexations et de l'agressivité », ce qui l'avait « profondément blessée, angoissée et déstabilisée ».
B._ s'est toutefois expliqué sur ce changement de version: il a précisé devant la Cour civile que ses déclarations devant le Bureau de l'égalité ont été faites « sous une certaine pression de A._ et de D._, qui dénigraient [la recourante] ». Ces explications sont plausibles, dans la mesure où le témoin en question travaillait encore pour l'Administration cantonale des impôts, notamment avec A._, lorsqu'il a été entendu par le Bureau de l'égalité en 1998. Il ressort en outre de l'état de fait de l'arrêt attaqué que ses déclarations ont valu à B._ une procédure pénale pour faux-témoignage, qui s'est conclue par un non-lieu. Dans le cadre de cette procédure, l'intéressé a ajouté que lorsqu'il a été entendu par le Bureau de l'égalité il venait de commencer dans le service concerné, de sorte qu'il craignait qu'un témoignage relativement favorable à la recourante lui « mette à dos » ses supérieurs et qu'il avait « suivi les autres dans le règlement du cas » de la recourante du fait qu'il était « nouveau dans la maison » et qu'il n'avait pas osé adopter une autre position. Compte tenu des conditions de travail qui régnaient au sein de l'Administration cantonale des impôts et du tempérament autoritaire voire agressif de A._, qui ne sont pas contestés, ces explications apparaissent hautement plausibles.
Ainsi, en résumé, vu sa position hiérarchique de supérieur de la recourante au moment des faits litigieux, la vraisemblance de ses explications quant à l'évolution de ses déclarations, le non-lieu prononcé dans la procédure pénale dirigée contre lui pour faux témoignage et le fait que son audition a été requise non par la recourante mais par l'Etat de Vaud, il apparaît arbitraire de ne prendre en considération les déclarations de B._ qu'avec retenue.
2.2.2 Le témoignage de E._ a également été pris en compte avec réserve par la Cour civile et la Chambre des recours, au motif qu'il avait déclaré qu'il ne souhaitait pas « retourner travailler avec ces monstres ». Cet argument n'est pas soutenable. En effet, il convient de replacer dans son contexte cette déclaration de E._, qui a souffert d'une dépression en relation avec son travail et qui a expliqué que ses rapports avec A._ se sont dégradés jusqu'à ce qu'il en tombe malade. Or, il n'est pas admissible d'écarter d'emblée les témoignages d'autres employés ayant également été victimes de comportements hostiles et qui éprouvent du ressentiment à l'égard de l'auteur de ceux-ci. Si l'on suivait les autorités cantonales sur cette voie, l'existence d'un mobbing deviendrait quasiment impossible à démontrer dans tous les cas où les attaques du mobbeur supposé ne visent pas exclusivement un individu mais également d'autres collègues témoins de ces agissements. Le caractère arbitraire de la mise en doute du témoignage de E._ est d'autant plus flagrant que ce celui-ci a par ailleurs tenu des propos qui ne sont pas tous en faveur de la recourante.
2.2.3 Quant au témoignage de C._, il a lui aussi été pris en considération avec prudence par la Chambre des recours, au motif que C._ avait tenu des propos différents devant le Bureau de l'égalité et devant la Cour civile. Cependant, à l'instar de B._, C._ a expliqué de manière plausible qu'elle ne s'était pas sentie libre de dire la vérité lors de son audition devant le Bureau de l'égalité, car elle était encore employée de l'Administration cantonale des impôts. Elle a ajouté qu'elle avait toujours eu peur de A._ et qu'elle craignait de se faire licencier, ce qui apparaît vraisemblable au vu des circonstances. Dans ces conditions, il n'y avait pas de raisons sérieuses de faire preuve de retenue à l'égard de ce témoignage.
2.2.4 Enfin, la Chambre des recours a écarté les témoignages de F._, consultante au sein de l'association « Violence hors silence », et de G._, médecin traitant, au motif qu'elles n'étaient pas des témoins directs et qu'elles n'avaient fait que recueillir les déclarations de la recourante. Les témoignages indirects ne sont cependant pas nécessairement exclus pour établir des actes de harcèlement. Les déclarations de témoins indirects tels qu'un médecin de famille ou un expert peuvent même être suffisantes pour prouver l'existence d'un harcèlement sexuel (arrêt 4P.214/2006 du 19 décembre 2006 consid. 2.2, résumé in FamPra.ch 2007 p. 456). De plus, les témoins cités en l'espèce ont fait davantage que rapporter les propos de la recourante: ils ont émis une appréciation quant au harcèlement psychologique allégué. Si le témoin F._, ne peut apparemment pas se prévaloir d'une formation particulière pour établir un diagnostic à cet égard, il en va différemment de G._, qui est médecin. Or, la Dresse G._ suivait la recourante depuis plusieurs années pour une psychothérapie et elle a déclaré que celle-ci « présentait en 1999 nettement les symptômes de quelqu'un qui a subi un mobbing », ce qui ne saurait être simplement ignoré.
De même, la Cour civile et la Chambre des recours ne pouvaient faire totalement abstraction du rapport d'expertise judiciaire du 18 mars 2005, qui retenait notamment que les difficultés professionnelles rencontrées par la recourante avaient représenté une contribution importante à l'évolution négative de son état de santé et que les symptômes présentés par la recourante étaient compatibles avec ceux que l'on retrouve chez les personnes victimes de harcèlement psychologique. Les experts ayant répondu clairement et de façon circonstanciée aux questions qui leur étaient posées à cet égard, ignorer leurs conclusions reviendrait à remettre en cause la nécessité même d'une telle expertise, pourtant ordonnée par la Cour civile. Surtout, l'arrêt attaqué retient que les conclusions précitées pouvaient être écartées car elles « ne permettent pas d'affirmer qu'il y a eu harcèlement ». Une telle décision est incompréhensible. En effet, mis en oeuvre dans un tel procès, l'expert judiciaire - médecin psychiatre - ne peut faire davantage que constater l'existence ou l'inexistence de symptômes compatibles avec ceux que présentent habituellement les victimes de tels actes. On ne voit dès lors pas quelle réponse plus claire aurait pu être donnée en l'occurrence sans que les experts, qui ne sauraient par essence être témoins directs des actes de mobbing, ne se voient reprocher d'outrepasser leur rôle en statuant à la place du juge.
2.3 En définitive, en écartant sans motifs suffisants divers éléments de preuve régulièrement administrés, la Chambre des recours a procédé à un établissement des faits qui peut être qualifié d'arbitraire au sens de la jurisprudence susmentionnée. Dans ces conditions, le recours doit être admis et l'arrêt attaqué annulé, sans qu'il soit nécessaire d'examiner les autres griefs présentés par la recourante. La cause est renvoyée à la Chambre des recours du Tribunal cantonal, pour qu'elle établisse les faits et apprécie les preuves dans le respect de l'art. 9 Cst. Il convient de préciser que l'annulation de l'arrêt attaqué ne préjuge en rien de l'issue de la procédure, la Chambre des recours conservant sa liberté pour apprécier l'ensemble des preuves, dans les limites définies ci-dessus.
3. Il s'ensuit que le recours doit être admis et l'arrêt attaqué annulé. Il n'y a pas lieu de percevoir des frais judiciaires (art. 66 al. 4 LTF). La recourante, assistée d'un avocat, a droit à des dépens, à la charge de l'Etat de Vaud (art. 68 al. 1 LTF). Dans ces conditions, sa demande d'assistance judiciaire est sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis; l'arrêt attaqué est annulé et la cause est renvoyée à la Chambre des recours du Tribunal cantonal du canton de Vaud, pour nouvelle décision dans le sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 3'000 fr. est allouée à X._ à titre de dépens, à la charge de l'Etat de Vaud.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 mai 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Rittener