Faits:
A. A._, né en 1958, a été engagé dès le 1er septembre 1989 en qualité de machiniste par l'Entreprise X._, à M._. A ce titre, il a été affilié à partir de ce moment-là auprès de "l'Institution de prévoyance en faveur du personnel de l'entreprise X._". Depuis le 17 novembre 2000, il a été à l'arrêt de travail pour des raisons de santé, ce qui a donné lieu à l'annonce d'un cas d'incapacité de gain à Y._ SA, laquelle s'occupe de la gestion administrative de l'institution de prévoyance. Les rapports de travail avec l'employeur ont pris fin le 31 août 2001.
Dans un préavis du 13 février 2007, l'Office cantonal de l'assurance-invalidité du Valais (ci-après : l'office AI), se fondant - à la suite d'un arrêt de renvoi du Tribunal fédéral des assurances du 16 mars 2006 (I 494/04) - sur une expertise de la Clinique Z._ du 13 novembre 2006, a admis que A._ présentait une incapacité de travail de 100 % dans toute activité depuis le 15 avril 2002, date de son hospitalisation à V._, et qu'il avait droit à une rente entière d'invalidité dès le 1er avril 2003. Par décisions des 11 juillet et 19 septembre 2007, il lui a alloué une rente entière d'invalidité à partir du 1er avril 2003.
A la suite du préavis de rente de l'office AI du 13 février 2007, A._ a invité Y._ SA à faire le nécessaire afin qu'il puisse bénéficier d'une rente LPP de l'institution de prévoyance. Par lettre du 31 août 2007, Y._ SA a nié que l'Institution de prévoyance en faveur du personnel de l'entreprise X._ soit tenue à prestations attendu que A._ ne lui était plus affilié lors de la survenance de l'incapacité de travail de 100 % le 15 avril 2002. Par lettre du 23 novembre 2007, celui-ci a maintenu sa demande de rente LPP, étant donné l'étroite relation de connexité matérielle et temporelle entre l'incapacité de travail qui avait été la sienne depuis le 17 novembre 2000 et son invalidité. Sa requête a été transmise par Y._ SA à la Compagnie d'assurances W._, qui l'a rejetée par lettre du 24 juin 2008 au motif que A._ n'avait présenté jusqu'au 15 avril 2002 aucune atteinte à la santé susceptible de diminuer sa capacité de travail et de gain comme machiniste ou dans n'importe quelle autre activité lucrative.
Le 11 juillet 2008, A._ a ouvert action contre l'« Institution de prévoyance X._ à M._, par la Compagnie d'Assurances W._ » devant la Cour des assurances sociales du Tribunal cantonal valaisan, en demandant que « l'Institution de prévoyance X._ » soit tenue de lui verser une rente LPP d'invalidité, avec intérêts moratoires.
La Compagnie d'Assurances W._, ayant informé l'autorité de jugement qu'elle ne représentait pas l'Institution de prévoyance en faveur du personnel de l'entreprise X._, la procédure a été continuée contre celle-ci dont la capacité pour défendre a été admise.
Par jugement du 25 septembre 2009, la Cour des assurances sociales du Tribunal cantonal du canton du Valais a rejeté l'action.
Saisi d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral l'a admis et a renvoyé la cause à l'autorité judiciaire de première instance pour des motifs procéduraux.
B. Après avoir complété le dossier, la Cour des assurances sociales du Tribunal cantonal valaisan a rejeté l'action de A._ par jugement du 23 mars 2011.
C. A._ interjette un recours en matière de droit public contre ce jugement en demandant son annulation. Il conclut, sous suite de frais et dépens, à ce que son droit à une rente d'invalidité LPP, avec intérêts moratoires, soit reconnu.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140).
1.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2. Est litigieuse la question de savoir quand a débuté l'incapacité de travail qui est à l'origine de l'invalidité du recourant.
3. 3.1 L'art. 23 LPP (dans sa teneur en vigueur jusqu'au 31 décembre 2004, applicable ratione temporis [ATF 131 V 9 consid. 1 p. 11 et les arrêts cités]), disposait qu'ont droit à des prestations d'invalidité les personnes qui sont invalides à raison de 50 % au moins au sens de l'AI, et qui étaient assurées lorsqu'est survenue l'incapacité de travail dont la cause est à l'origine de l'invalidité.
Les art. 3 ch. 11 et 12 ch. 2 du Règlement de prévoyance de l'Institution de prévoyance en faveur du personnel de l'entreprise X._, renvoient pour l'incapacité de gain à la décision de l'assurance-invalidité et étendent par ailleurs le cercle des bénéficiaires de pensions d'invalidité aux assurés qui sont invalides à raison de 25 % au moins au sens de l'assurance-invalidité.
3.2 L'assurance obligatoire commence en même temps que les rapports de travail (art. 10 al. 1 LPP) et l'obligation d'être assuré cesse notamment en cas de dissolution des rapports de travail (art. 10 al. 2 let. b LPP). En matière de prévoyance surobligatoire, la dissolution des rapports de travail est également un motif qui met fin à l'assurance (ATF 121 V 280 consid. 2b).
Selon l'art. 10 al. 3 LPP, le salarié demeure assuré auprès de l'ancienne institution de prévoyance pour les risques de décès et d'invalidité durant un mois après la fin des rapports avec l'institution de prévoyance. Si un nouveau rapport de prévoyance naît avant l'échéance du délai d'un mois, c'est la nouvelle institution de prévoyance qui est compétente (pour la prévoyance surobligatoire: art. 331a al. 2 CO).
3.3 En l'espèce, il est établi que les rapports de travail ont été résiliés pour le 31 août 2001. Le recourant n'a pas été engagé par un nouvel employeur durant le délai d'un mois à compter du 1er septembre 2001. Il est donc resté assuré auprès de l'intimée jusqu'au 30 septembre 2001, pour les risques de décès et d'invalidité.
4. 4.1 Conformément à l'art. 26 al. 1 LPP, les dispositions de la LAI (art. 29 LAI) s'appliquent par analogie à la naissance du droit aux prestations d'invalidité. Si une institution de prévoyance reprend - explicitement ou par renvoi - la définition de l'invalidité dans l'assurance-invalidité, elle est en principe liée, lors de la survenance du fait assuré, par l'estimation de l'invalidité des organes de l'assurance-invalidité, sauf lorsque cette estimation apparaît d'emblée insoutenable (ATF 126 V 308 consid. 1 in fine p. 311; consid. 2 non publié de l'arrêt ATF 130 V 501). Cette force contraignante vaut non seulement pour la fixation du degré d'invalidité (ATF 115 V 208), mais également pour la détermination du moment à partir duquel la capacité de travail de l'assuré s'est détériorée de manière sensible et durable (ATF 129 V 150 consid. 2.5 p. 156, 123 V 269 consid. 2a p. 271). Pour que l'institution de prévoyance, qui dispose d'un droit de recours propre dans les procédures régies par la LAI, soit liée par l'évaluation de l'invalidité (principe, taux et début du droit) à laquelle ont procédé les organes de l'assurance-invalidité, il faut que l'institution de prévoyance ait été valablement intégrée à la procédure (ATF 129 V 73 consid. 4.2 p. 75 s.; voir aussi ATF 133 V 67 consid. 4.3.2 p. 69, 130 V 270 consid. 3.1 p. 273 s.).
Le Tribunal fédéral des assurances a précisé dans l'arrêt B 45/03 du 13 juillet 2004, au consid. 2.3.2 non publié aux ATF 130 V 501 mais paru in SVR 2005 BVG n° 5 p. 16, que la force contraignante de la décision de l'organe de l'assurance-invalidité pour l'institution de prévoyance repose sur l'idée de décharger celle-ci de mesures d'instruction relativement importantes. Elle ne vaut dès lors qu'en ce qui concerne les constatations et appréciations des organes de l'assurance-invalidité qui étaient déterminantes dans la procédure de l'assurance-invalidité pour établir le droit à une rente d'invalidité et qui devaient effectivement faire l'objet d'une détermination. Dans le cas contraire, les organes de la prévoyance professionnelle sont tenus d'examiner librement les conditions du droit aux prestations (cf. arrêt [du Tribunal fédéral des assurances] B 50/99 du 14 août 2000, consid. 2b). Le fait que l'assurance-invalidité a fixé le début du droit à la rente n'exclut donc pas que l'incapacité de travail sur laquelle est fondé le droit à des prestations d'invalidité de la prévoyance professionnelle soit survenue (dans une mesure plus restreinte) plus d'une année auparavant (arrêt [du Tribunal fédéral des assurances] B 47/98 du 11 juillet 2000, consid. 4d non reproduit in RSAS 2003 p. 45).
4.2 En l'espèce, l'intimée n'a pas participé à la procédure AI et les décisions de rentes de l'office AI ne lui ont pas été notifiées. Elle n'est donc, sous cet angle, pas liée par les décisions de l'assurance-invalidité (ATF 129 V 73 consid. 4.2 p. 75 s.). Ce principe souffre toutefois une restriction: si l'institution de prévoyance reste dans le cadre de la décision qui a été prise en droit de l'assurance-invalidité, le fait qu'elle n'a pas été intégrée à la procédure AI (ATF 126 V 308 consid. 2a p. 311) n'a aucune portée. Dans ce cas, l'assuré doit (sauf si la décision de l'assurance-invalidité apparaît d'emblée insoutenable; ATF 126 V 308 consid. 1 p. 311) se laisser opposer le caractère contraignant des constatations de l'assurance-invalidité, même si l'institution de prévoyance n'a pas participé à la procédure AI (arrêt [du Tribunal fédéral des assurances] B 39/03 du 9 février 2004, consid. 3.1 résumé in RSAS 2004 p. 452). Relevant d'une question de droit, le caractère insoutenable peut être examiné librement par le Tribunal fédéral (art. 95 let. a LTF; arrêts 9C_700/2007 du 26 juin 2008 consid. 4.1 et 9C_182/2007 du 7 décembre 2007 consid. 4.1.1) en fonction de l'état de fait au moment de la décision de rente (ATF 126 V 308 consid. 2a p. 311).
5. 5.1 Ont droit à des prestations d'invalidité les personnes invalides qui étaient assurées lors de la survenance de l'incapacité de travail dont la cause est à l'origine de l'invalidité (art. 23 LPP, 2ème partie de la phrase, dans sa teneur en vigueur jusqu'au 31 décembre 2004).
5.2 Le droit à des prestations d'invalidité de la prévoyance professionnelle obligatoire suppose que l'incapacité de travail, dont la cause est à l'origine de l'invalidité, soit survenue pendant la durée du rapport de prévoyance (y compris la prolongation prévue à l'art. 10 al. 3 LPP), conformément au principe d'assurance (art. 23 LPP; ATF 135 V 13 consid. 2.6 p. 17, 134 V 20 consid. 3 p. 21 s., 123 V 262 consid. 1c p. 264). L'événement assuré est uniquement la survenance d'une incapacité de travail d'une certaine importance, indépendamment du point de savoir à partir de quel moment et dans quelle mesure un droit à une prestation d'invalidité est né. La qualité d'assuré doit exister au moment de la survenance de l'incapacité de travail, mais pas nécessairement lors de l'apparition ou de l'aggravation de l'invalidité (ATF 136 V 65 consid. 3.1 p. 68, 123 V 262 consid. 1a p. 263). Lorsqu'il existe un droit à une prestation d'invalidité fondée sur une incapacité de travail survenue durant la période d'assurance, l'institution de prévoyance concernée est tenue de prendre en charge le cas, même si le degré d'invalidité se modifie après la fin des rapports de prévoyance. Dans ce sens, la perte de la qualité d'assuré ne constitue pas un motif d'extinction du droit aux prestations au sens de l'art. 26 al. 3 LPP (ATF 123 V 262 consid. 1a p. 263, 118 V 35 consid. 5 p. 45). Pour la survenance de l'incapacité de travail au sens de l'art. 23 LPP, c'est la diminution de la capacité fonctionnelle de rendement dans la profession exercée jusque-là ou le champ d'activités habituelles qui est déterminante (ATF 134 V 20 consid. 3.2.2 p. 23 et les références), la diminution de la capacité fonctionnelle de rendement dans la profession exercée jusque-là devant être de 20 % au moins (arrêts 9C_748/2010 du 20 mai 2011 consid. 2.5, 9C_297/2010 du 23 septembre 2010 consid. 2.1 et 9C_127/2008 du 11 août 2008 consid. 2.3).
Pour que l'institution de prévoyance reste tenue à prestations, après la dissolution du rapport de prévoyance, il faut non seulement que l'incapacité de travail ait débuté à une époque où l'assuré lui était affilié, mais encore qu'il existe entre cette incapacité de travail et l'invalidité une relation d'étroite connexité. La connexité doit être à la fois matérielle et temporelle (ATF 130 V 270 consid. 4.1 p. 275). Il y a connexité matérielle si l'affection à l'origine de l'invalidité est la même que celle qui s'est déjà manifestée durant le rapport de prévoyance (et qui a entraîné une incapacité de travail). La connexité temporelle implique qu'il ne se soit pas écoulé une longue interruption de l'incapacité de travail; elle est rompue si, pendant une certaine période qui peut varier en fonction des circonstances du cas, l'assuré est à nouveau apte à travailler. L'institution de prévoyance ne saurait, en effet, répondre de rechutes lointaines plusieurs années après que l'assuré a recouvré sa capacité de travail (ATF 123 V 262 consid. 1c p. 264, 120 V 112 consid. 2c/aa p. 117 s.).
5.3 La détermination du moment de la survenance de l'incapacité de travail, dont la cause est à l'origine de l'invalidité, est une question de fait. En revanche, le point de vue sur la base duquel intervient la décision relative au moment de la survenance de l'incapacité de travail déterminante relève du droit (arrêts 9C_297/2010 du 23 septembre 2010 consid. 2.3 (in SVR 2011 BVG n° 14 p. 51) et 9C_127/2008 du 11 août 2008 consid. 2.2 (in SVR 2008 BVG n° 34 p. 143).
6. 6.1 La juridiction cantonale a retenu, en se fondant sur le dossier de l'office AI, que l'incapacité de travail au sens de l'art. 29 al.1 let. b LAI (dans sa teneur en vigueur jusqu'au 31 décembre 2007) avait débuté le 15 avril 2002 lors de l'hospitalisation du recourant à V._. Pour la période antérieure, elle a admis l'existence d'atteintes à la santé qui n'avaient pas de caractère incapacitant au sens de la loi sur l'assurance-invalidité ni partant au sens de la LPP, puisque l'art. 26 LPP renvoie expressément à l'art. 29 LAI.
6.2 Le recourant conteste que l'incapacité de travail dont la cause est à l'origine de l'invalidité ait débuté en avril 2002 lors de son hospitalisation. Il estime que la juridiction cantonale a violé l'art. 23 LPP en faisant coïncider le début de l'incapacité de travail selon l'art. 29 al. 1 let. b LAI avec le début de l'incapacité de travail dont la cause est à l'origine de l'invalidité. En se fondant sur les rapports médicaux du dossier, en particulier sur l'expertise de la Clinique Z._, il considère qu'il est établi que l'incapacité de travail dont la cause est à l'origine de l'invalidité remonte à l'année 2000, époque où il était encore assuré par l'intimée.
6.3 En l'espèce, tous les médecins qui ont examiné le recourant depuis 2000, y compris les experts G._ et S._ de la Clinique Z._, ont diagnostiqué un trouble somatoforme douloureux (rapports des docteurs F._ du 9 août 2001, T._ du 12 juin 2001, B._ du 12 mars 2001, K._ du 19 février 2001, O._ et H._ du 4 juin 2002, E._ et I._ du 29 avril 2003, C._ du 31 juillet 2003 et U._ du 6 octobre 2003). Il est donc dûment établi que le recourant a souffert d'un trouble somatoforme douloureux depuis sa mise en incapacité de travail le 17 novembre 2000.
6.4 En revanche, le caractère invalidant de l'affection est apprécié différemment selon les médecins. Pour le docteur F._, médecin traitant, l'incapacité de travail était totale tant dans l'activité de machiniste que pour un travail adaptée et l'éventuelle capacité résiduelle de travail devait être évaluée en atelier (rapport du 9 août 2001). Pour le docteur T._, qui est intervenu comme expert psychiatre pour le compte de l'assurance indemnités journalières, le trouble somatoforme douloureux n'était pas invalidant faute de comorbidité (rapport du 12 juin 2001). Le docteur K._, rhumatologue, dans son expertise du 19 février 2001, a estimé que l'assuré était apte à travailler à 50 %. Le docteur B._, rhumatologue, a considéré que le recourant ne pouvait pas reprendre son travail actuel même à temps partiel et qu'il fallait faire les démarches en vue d'une reconversion (rapport du 12 mars 2001). Le docteur P._, neurochirurgien, a émis l'avis, sur la base de ses constations somatiques, que l'assuré devait urgemment travailler à 50 % au moins dans une activité adaptée à son dos (rapport du 13 février 2002). Les docteurs O._ et H._, psychiatres à l'Hôpital J._, ont estimé que leur patient était totalement incapable de travailler (rapport du 4 juin 2002). Cet avis est partagé par les docteurs E._ et I._, psychiatres (rapport du 29 avril 2003). Le docteur C._, psychiatre mandaté comme expert par l'office AI, a considéré que le recourant ne souffrait d'aucune affection psychiatrique réellement invalidante mais que « la conduite dans laquelle s'est enfermé M. A._ l'empêche de reprendre une activité professionnelle, sans que l'on puisse retenir, sur le plan psychique, une incapacité de travail » (expertise du 31 juillet 2003). Enfin, les experts G._ et S._ ont admis l'existence d'une incapacité totale de travail dès avril 2002 et partielle (à 20 %) depuis 2000 (expertise du 13 novembre 2006).
Il n'est pas possible de déterminer une période précise pour le début de l'incapacité de travail dont la cause est à l'origine de l'invalidité. Cependant, l'analyse des experts G._ et S._, sur laquelle s'est fondée la juridiction cantonale, a montré que l'évolution s'était faite « vers une aggravation progressive malgré un traitement psychiatrique suivi pour aboutir à un contenu délirant et à une altération majeure du comportement extra et intrafamilial », l'année 2002 correspondant à un stade où l'on pouvait admettre une incapacité complète (expertise du 13 novembre 2006). Les docteurs E._ et I._ sont allés dans le même sens en précisant que « la symptomatologie clinique de M. A._ s'est gravement péjorée en 2000... ses défenses obsessionnelles se sont effondrées massivement au point d'empêcher M. A._ de reprendre toute activité professionnelle et son état de santé s'est péjoré lentement jusqu'en avril 2002, date de son hospitalisation à V._ » (rapport du 29 avril 2003). L'expert C._, même s'il exclut le caractère invalidant de l'atteinte psychique, a, pour sa part, estimé qu' « il est plus que probable, en fonction de nos constations présentes, que l'état psychique d'aujourd'hui, qui n'a pas changé de nature, ne se soit constitué que très progressivement et sans à-coups. C'est dans ce cadre que devait d'ailleurs se placer l'hospitalisation à V._ en avril 2002 » (expertise du 31 juillet 2006). Enfin, le docteur N._, médecin du SMR, a aussi admis une atteinte qui s'est installée progressivement pour devenir invalidante depuis le début 2002 (rapport du 7 février 2007).
Il résulte des différents avis médicaux mentionnés ci-dessus que l'on est en présence d'une situation qui s'est lentement et constamment dégradée depuis 2000. Dès lors, la question qui se pose est de savoir si un trouble somatoforme douloureux, dont l'expérience enseigne qu'il n'est en général pas invalidant, peut dans le cas particulier - en tenant compte des faits médicaux comme ils résultent du dossier - être la cause d'une incapacité de travail de 20 %, déterminante sous l'angle de l'art. 23 LPP en ce qui concerne la connexité matérielle et temporelle. Etant donné que l'on est en présence d'une situation qui s'est lentement et constamment dégradée depuis 2000, l'autorité précédente aurait dû examiner si pendant cette période le trouble somatoforme douloureux dont est atteint le recourant (supra, consid. 6.3) était propre à causer une incapacité de travail de 20 %. Sur le vu des conclusions des docteurs G._ et S._ dans leur rapport d'expertise du 13 novembre 2006 dont il résulte qu'il y avait une incapacité de travail de 20 % au moins depuis 2000, il apparaît que la juridiction cantonale, en retenant que l'incapacité de travail déterminante avait débuté en avril 2002, a établi les faits de façon manifestement inexacte, ce qui vaut également - et nécessairement - pour l'appréciation divergente de l'AI. Force est de constater qu'en 2000, l'incapacité de travail du recourant était déjà de 20 % au moins et qu'en septembre 2001 au plus tard, le recourant était bel et bien incapable de travailler en raison de l'atteinte qui est à l'origine de son invalidité.
6.5 Les autres conditions de l'octroi d'une rente d'invalidité de la prévoyance professionnelle n'étant pas contestées, il y a lieu d'admettre, en modification de la décision cantonale, que le recourant a droit à une rente entière d'invalidité LPP de la part de l'intimée à partir du 1er avril 2003, rien ne permettant de s'écarter de la décision de l'assurance-invalidité sur ce point. Le recours est bien fondé.
7. Cela étant, il se justifie d'admettre le recours et de transmettre le dossier à l'intimée pour qu'elle procède au calcul de la rente et qu'elle verse au recourant l'arriéré y compris les intérêts moratoires.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimée, qui succombe (art. 66 al. 1 LTF). Elle versera au recourant une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF). Il convient de renvoyer la cause à la juridiction cantonale pour nouvelle décision sur les dépens de la procédure antérieure.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement du Tribunal cantonal du canton du Valais, Cour des assurances sociales, du 23 mars 2011 est annulé. A._ a droit à une rente entière d'invalidité de la part de l'Institution de prévoyance X._, à partir du 1er avril 2003, avec intérêts moratoires.
2. Le dossier est transmis à l'Institution de prévoyance X._, pour calcul de la rente.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
4. L'intimée versera au recourant la somme de 2'800 fr., y compris la taxe à la valeur ajoutée, à titre de dépens pour la procédure de dernière instance.
5. La cause est renvoyée au Tribunal cantonal du canton du Valais, Cour des assurances sociales, pour nouvelle décision sur les dépens de la procédure antérieure.
6. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner