Faits:
A. M._ a travaillé à plein temps comme femme de chambre au service de la Clinique X._ dès janvier 1991. Incapable de travailler à diverses reprises au cours de l'année 1997, elle a présenté le 16 novembre 1998 une demande de prestations de l'assurance-invalidité.
Par décision du 31 août 2001, l'Office de l'assurance-invalidité pour le canton de Vaud a rejeté la demande. Se fondant notamment sur une expertise du 13 mars 1999 effectuée pour l'assureur perte de gain de l'assurée par le docteur O._, spécialiste FMH en psychiatrie-psychothérapie, lequel niait toute raison psychiatrique d'incapacité de travail, et sur un rapport du 6 septembre 2000 de la doctoresse A._, spécialiste FMH en médecine interne-rhumatologie, il avisait M._ que sa capacité de travail était entière dans une activité adaptée à son état de santé (par ex. employée dans une station service, vendeuse dans un kiosque ou ouvrière de conditionnement). Compte tenu d'un revenu d'invalide de 38'143 fr. et d'un revenu sans invalidité de 42'380 fr. par année, la comparaison des revenus donnait une invalidité dont le taux inférieur à 40 % ne conférait aucun droit à une rente.
B. B.a Le 1er octobre 2001, M._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud. Elle a produit un rapport du docteur I._, spécialiste FMH en psychiatrie et psychothérapie, et un autre du 26 mars 2002 de la psychologue-psychothérapeute B._ (cabinet médical I._ & Partenaires) évoquant une fibromyalgie et une dépression grave, ainsi qu'un rapport du 20 septembre 2002 où le docteur I._ a posé le diagnostic de troubles anxieux, troubles dépressifs majeurs.
La juridiction cantonale a confié une expertise au docteur R._, spécialiste FMH en psychiatrie et psychothérapie, lequel a déposé ses conclusions dans un rapport du 29 novembre 2003 et dans un rapport complémentaire du 15 septembre 2004 où il indiquait notamment que l'incapacité de travail était la conséquence d'une double pathologie, soit un trouble somatoforme douloureux et un état dépressif. Par jugement du 8 juin 2005, elle a réformé la décision attaquée en ce sens que M._ avait droit à une demi-rente d'invalidité dès le 1er novembre 1998, la cause étant renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud pour qu'il détermine le montant de la rente et rende une nouvelle décision.
Par arrêt du 17 novembre 2006, le Tribunal fédéral des assurances a annulé ce jugement, la cause étant renvoyée à la juridiction cantonale afin qu'elle procède conformément aux considérants. Relevant que l'expertise judiciaire ne permettait pas de se convaincre de l'ampleur de l'incapacité de travail à laquelle le docteur R._ avait abouti et qu'elle n'avait pas permis de clarifier la situation en ce qui concerne le diagnostic d'état dépressif majeur posé par le docteur I._, il a considéré qu'il se justifiait d'ordonner une surexpertise psychiatrique, afin notamment que l'expert psychiatre se prononce sur une éventuelle comorbidité psychiatrique et détermine aussi objectivement que possible la capacité de travail de l'assurée.
B.b Le Tribunal des assurances du canton de Vaud a désigné comme expert le docteur C._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 9 octobre 2007, ce médecin a posé le diagnostic de syndrome douloureux somatoforme persistant (F45.4) et de trouble dépressif majeur chronique (état actuel sévère) (F32.2). Il n'a pas retenu d'incapacité de travail relevant des affections psychiatriques diagnostiquées. Il était de l'avis que l'assurée était apte à reprendre son activité professionnelle antérieure à 100 %.
Les parties ont eu la possibilité de déposer leurs observations. Se référant à un avis médical SMR du 16 novembre 2007 dans lequel le docteur N._ se ralliait aux conclusions du docteur C._, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu au rejet du recours. M._ a contesté les conclusions de l'expert relatives à sa capacité de travail et sollicité la mise en oeuvre d'une nouvelle expertise, puis produit une prise de position du 27 novembre 2007 des docteurs I._ et G._ et de la psychologue-psychothérapeute E._ - oeuvrant dans le cadre de la Clinique Y._ - sur l'expertise du docteur C._.
Par jugement du 2 septembre 2008, dont la rédaction a été approuvée le 18 novembre 2008, le Tribunal des assurances - aujourd'hui: la Cour des assurances sociales du Tribunal cantonal vaudois - a rejeté le recours.
C. M._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à la réforme de celui-ci en ce sens qu'elle a droit à une rente d'invalidité selon les précisions que justice dira. A titre subsidiaire, elle conclut à l'annulation du jugement attaqué, la cause étant renvoyée à la juridiction cantonale pour complément d'instruction sous la forme d'une expertise psychiatrique, voire d'un complément d'expertise selon les précisions que justice dira. Elle produit une prise de position du 15 décembre 2008 des docteurs I._ et G._ et de la psychologue-psychothérapeute E._.
L'Office de l'assurance-invalidité pour le canton de Vaud déclare que les arguments développés par l'assurée ne sont pas de nature à remettre en cause le jugement attaqué. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.2 La motivation du recours doit être complète. Le renvoi à la détermination du 14 décembre 2007 devant la juridiction cantonale n'est dès lors pas admissible (FLORENCE AUBRY GIRARDIN, in: Commentaire de la LTF, Berne 2009, N. 33 ad Art. 42 LTF; YVES DONZALLAZ, Commentaire de la Loi sur le Tribunal fédéral, Berne 2008, N. 919 ad Art. 42 LTF).
1.3 Devant la Cour de céans, la recourante se réfère à une lettre des praticiens de la Clinique Y._ du 7 décembre 2008. Elle produit une prise de position du 15 décembre 2008 des docteurs I._ et G._ et de la psychologue-psychothérapeute E._.
Toutefois, le jugement attaqué du 2 septembre 2008 ne justifie pas pour la première fois de soulever ces moyens et la recourante ne montre pas en quoi les conditions d'une exception à l'interdiction des faits ou moyens de preuve nouveaux selon l'art. 99 al. 1 LTF sont remplies (Ulrich Meyer, in: Niggli/Uebersax/Wiprächtiger, Basler Kommentar zum BGG, Basel 2008, N. 44 à 47 ad Art. 99 BGG; Bernard Corboz, in: Commentaire de la LTF, Berne 2009, N. 19 ad Art. 99 LTF). Ces moyens ne sont dès lors pas admissibles.
2. Le litige porte sur le point de savoir si la recourante a droit à une rente d'invalidité, singulièrement a trait aux incidences sur sa capacité de travail et de gain des atteintes à la santé qu'elle présente sur le plan psychiatrique.
2.1 Les principes relatifs au pouvoir d'examen développés dans l'ATF 132 V 393 consid. 3 p. 397 s. (en relation avec l'art. 132 OJ dans sa version en vigueur du 1er juillet au 31 décembre 2006) continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application qu'elle fait du droit (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé (diagnostic, etc.), la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398).
2.2 Le jugement entrepris expose correctement les principes jurisprudentiels applicables en cas de troubles somatoformes douloureux persistants (ATF 131 V 49, 130 V 352) ainsi qu'en cas de fibromyalgie (ATF 132 V 65) et les règles sur la valeur probante des rapports médicaux. On peut y renvoyer.
On ajoutera qu'en cas de divergence d'opinion entre experts et médecins traitants, il n'est pas, de manière générale, nécessaire de mettre en oeuvre une nouvelle expertise. La valeur probante des rapports médicaux des uns et des autres doit bien plutôt s'apprécier au regard des critères jurisprudentiels (ATF 125 V 351 consid. 3a p. 352) qui permettent de leur reconnaître pleine valeur probante. A cet égard, il convient de rappeler qu'au vu de la divergence consacrée par la jurisprudence entre un mandat thérapeutique et un mandat d'expertise (ATF 124 I 170 consid. 4 p. 175; arrêt I 514/06 du 25 mai 2007 consid. 2.2.1, in SVR 2008 IV Nr. 15 p. 43), on ne saurait remettre en cause une expertise ordonnée par l'administration ou le juge et procéder à de nouvelles investigations du seul fait qu'un ou plusieurs médecins traitants ont une opinion contradictoire. Il n'en va différemment que si ces médecins traitants font état d'éléments objectivement vérifiables ayant été ignorés dans le cadre de l'expertise et qui sont suffisamment pertinents pour remettre en cause les conclusions de l'expert.
3. Après avoir reconnu une pleine valeur probante à l'expertise du docteur C._, notamment en écartant les griefs de la recourante quant à la durée de l'entretien avec l'expert et en relevant les qualités formelles intrinsèques du rapport d'expertise, la juridiction cantonale a fait siennes les conclusions de l'expert judiciaire. Ainsi, la recourante présentait un syndrome somatoforme douloureux persistant et un trouble dépressif majeur chronique, dont l'état actuel était sévère. Le diagnostic de syndrome douloureux somatoforme persistant évoqué par différents praticiens était retenu plutôt que celui de fibromyalgie mentionné par les médecins de la Clinique Y._, pour les raisons exposées par l'expert, le débat relatif à la dénomination diagnostique la mieux appropriée se révélant au demeurant plutôt secondaire, dans la mesure où seule la répercussion de l'atteinte à la santé diagnostiquée sur la capacité de travail importait pour juger du droit aux prestations. Le diagnostic de trouble dépressif majeur (état actuel sévère) était retenu, mais il se situait à la limite inférieure de la qualification de sévère. N'ayant pas les caractéristiques d'emblée incapacitantes que sont le ralentissement psychomoteur marqué et l'incapacité à penser et à se concentrer, aucune incapacité de travail lui était corrélée, selon les conclusions de l'expert qui devaient être préférées sur ce point à celles peu motivées des médecins de la Clinique Y._ et au regard de la différence consacrée par la jurisprudence entre le mandat d'expert et celui de médecin traitant. Aussi, en l'absence de comorbidité psychiatrique invalidante, la recourante ne présentant aucune incapacité de travail du point de vue psychiatrique, et dans la mesure où elle ne réunissait pas en sa personne plusieurs des autres critères consacrés par la jurisprudence, les premiers juges ont considéré que le trouble somatoforme douloureux diagnostiqué ne se manifestait pas avec une sévérité telle, que d'un point de vue objectif, on ne puisse plus raisonnablement exiger d'elle un effort de volonté pour se réintégrer dans le processus du travail ou dans une activité adaptée. Aussi la décision de l'administration devait-elle être confirmée.
Les griefs soulevés par la recourante en instance fédérale contre le jugement cantonal, essentiellement déjà formulés devant la juridiction inférieure, ne permettent pas de retenir que les constations de fait des premiers juges soient manifestement inexactes ou aient été établies de manière contraire au droit, ni que les conclusions juridiques qu'ils en ont tirés soient contraires au droit fédéral. Ainsi, les premiers juges ont-ils déjà expliqué de manière convaincante les raisons qui les ont amenés à attacher valeur probante à l'expertise du docteur C._ et à retenir les diagnostics posés par l'expert ainsi que la capacité de travail fixée par ce dernier plutôt que ceux et celle invoqués par les médecins de la Clinique Y._. Sur ces différents points, déjà débattus en instance cantonale, la recourante, qui s'en prend une nouvelle fois à la durée de l'entretien avec l'expert, ne démontre pas que des éléments objectivement vérifiables et suffisamment pertinents auraient été ignorés dans le cadre de l'expertise judiciaire. A cet égard, les premiers juges ont expliqué de manière pertinente qu'au regard des nombreuses indications médicales au dossier qui permettaient de cerner les contours de la personnalité de l'assurée, l'examen personnel devant alors permettre à l'expert d'infirmer ou de confirmer sa première appréciation et de la compléter sur certains points, on ne voyait pas les raisons pour lesquelles la durée de l'entretien aurait empêché l'expert de cerner de manière adéquate la personnalité de la patiente et de se déterminer sur l'existence du trouble ainsi que sur la répercussion de celui-ci sur sa capacité à reprendre une activité lucrative. En définitive, l'argumentation de la recourante tend à substituer sa propre appréciation de la situation médicale à celle retenue par la juridiction cantonale.
4. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de la recourante, qui succombe (art. 66 al. 1 LTF). Elle ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois - anciennement Tribunal des assurances du canton de Vaud - et à l'Office fédéral des assurances sociales.
Lucerne, le 20 novembre 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner