Faits: Faits: A. A.a S._, né en 1959, a travaillé en qualité de manoeuvre au service de l'entreprise X._ SA. Il a présenté le 13 juin 1994 une demande de prestations de l'assurance-invalidité. Dans un prononcé du 6 septembre 1995, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu à une invalidité de 100 % à partir du 11 mai 1994 et de 50 % dès le 1er mai 1995. Par décisions du 20 novembre 1996, il a alloué à S._ une rente entière d'invalidité du 1er mai 1994 au 30 avril 1995 et une demi-rente pour le mois de mai 1995. A partir du 3 mars 1998, S._ a présenté une incapacité totale de travail. A deux reprises - soit du 25 mars au 25 mai 1998 et du 2 au 22 juin 1998 -, il a tenté de reprendre à 50 % son activité professionnelle, mais sans succès. Après que son employeur eut résilié son contrat de travail pour le 31 décembre 1998, il a demandé le 21 août 1998 un nouvel examen de son droit aux prestations de l'assurance-invalidité. Dans un rapport médical du 16 décembre 1998, le docteur D._, spécialiste FMH en médecine générale et médecin traitant de l'assuré, a conclu à une incapacité de travail de 100 % dès le 23 juin 1998, d'une durée indéterminée. Du 10 mai au 2 juillet 1999, S._ a effectué un stage au COPAI de A._. Dans son appréciation médicale, la doctoresse M._, médecin-conseil, indiquait qu'une activité très légère à 50 % pouvait être exigée du patient, ce qui lui paraissait être le minimum exigible. Selon le rapport d'observation professionnelle du COPAI du 6 juillet 1999, l'assuré devait pouvoir raisonnablement faire face à une activité légère en production industrielle ou à toute autre activité légère, avec des rendements proches de la norme, cela après une période de reconditionnement physique. Dans un projet de décision du 2 février 2000, l'office AI a avisé l'assuré que dans une activité industrielle légère, sa capacité de travail et donc de gain était pratiquement entière. Il pourrait ainsi réaliser un revenu annuel moyen de l'ordre de 48'100 fr. Comparé au gain de 51'545 fr. par année qui serait le sien dans son ancienne activité, il en résultait une invalidité de 6.6 %, taux qui ne lui donnait aucun droit à une rente. Le 11 février 2000, le docteur D._ a contesté ce qui précède. Il indiquait notamment que le patient souffrait d'une pathologie gastrique contre-indiquant la prise d'anti-inflammatoire qui lui serait bien nécessaire. A tout le moins était-il donc justifié de procéder à une évaluation par une expertise même psychiatrique s'il y avait lieu. La doctoresse U._, médecin de l'office AI, a confié une expertise au Centre Médical de Psychothérapie Y._. Dans un rapport du 4 août 2000, lequel se fondait également sur un consilium avec le docteur D._ du 4 juillet 2000, le docteur E._, spécialiste FMH en psychiatrie et psychothérapie, et la psychologue-psychothérapeute F._ ont retenu un trouble somatoforme indifférencié d'intensité légère, tout en relevant qu'il existait de nombreux arguments pour parler d'une exagération volontaire des symptômes, voire de simulation. Ils ont conclu qu'il n'y avait pas de justification psychiatrique expliquant une diminution de la capacité de travail. Par décision du 15 septembre 2000, l'office AI, s'en tenant aux motifs exposés dans le projet de décision, a rejeté la demande. Par jugement du 23 mai 2001, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par S._ contre cette décision. Par arrêt du 9 juillet 2002, le Tribunal fédéral des assurances a annulé ce jugement et cette décision et renvoyé la cause à l'office AI pour instruction complémentaire et nouvelle décision. A.b Le docteur P._, médecin du Service médical régional (SMR) de l'assurance-invalidité, a confié une expertise médicale à la Clinique Z._. S._ a séjourné dans cet établissement du 20 au 22 janvier 2003. Le 22 janvier 2003, le docteur N._, spécialiste FMH en neurologie et chef de clinique du service de neuroréadaptation, a procédé à un examen neurologique. Dans un rapport du 28 janvier 2003, ce médecin a retenu le diagnostic de neuropathie ulnaire gauche au coude. Il indiquait qu'il n'y avait aucune limitation neurologique concernant la capacité de travail du patient, quelle que soit son activité. Le 22 janvier 2003, le docteur C._, médecin-chef du service psychosomatique, a procédé à l'examen de l'assuré. Dans une expertise psychiatrique, ce spécialiste a posé le diagnostic de trouble somatoforme indifférencié. Il ne retenait pas d'incapacité de travail sur le plan psychiatrique. Dans un rapport d'expertise du 27 janvier 2003, le docteur R._ a posé les diagnostics ayant une répercussion sur la capacité de travail de trouble somatoforme indifférencié (F45.4 [CIM-10]), d'arthrose acromio-claviculaire droite, de cervicalgies chroniques, de status après cure de hernie discale C5-C6 droite en 1993, de lombalgies chroniques, de discopathies L4-L5 et L5-S1 et de status après chirurgie correctrice des avant-pieds. De façon théorique, on pouvait admettre une diminution de rendement de 30 % au plus dans l'activité exercée auprès de l'entreprise X._ SA, cette appréciation prenant en compte les difficultés que peut éprouver l'assuré pour les activités nécessitant une élévation des membres supérieurs au-delà de la ligne des épaules et pour les déplacements sur un terrain irrégulier. Dans une activité moins exigeante, à un établi par exemple, une pleine capacité était exigible. Dans un rapport d'examen SMR du 5 mars 2003, le docteur P._ a conclu à une capacité de travail exigible de 70 % dans une activité habituelle et de 100 % dans une activité adaptée à l'état de santé de l'assuré. Par décision du 30 avril 2003, l'office AI a avisé S._ qu'il présentait une capacité de travail entière dans une activité adaptée à son état de santé et que son invalidité devait être fixée à 9.5 %, taux qui ne donnait pas droit à une rente. Le 4 juin 2003, S._ a formé opposition contre cette décision, en requérant la mise en oeuvre d'une expertise orthopédique par un spécialiste indépendant de l'office AI et de la Clinique Z._. Il produisait copie d'un courrier adressé le 20 mai 2003 par le docteur D._ au docteur G._, spécialiste FMH en chirurgie orthopédique. Dans un rapport médical intermédiaire du 18 novembre 2003, le docteur D._ a constaté que l'état de santé du patient s'était aggravé. Ce médecin admettait une diminution du rendement de 50 % dans l'activité de manoeuvre exercée par l'assuré, laquelle n'était plus exigible. Il laissait indécise la question de savoir si l'on pouvait exiger de celui-ci qu'il exerce une autre activité. Il produisait un rapport du docteur O._ du 4 juillet 2003 concernant une IRM de l'épaule droite du 3 juillet 2003, un autre rapport de ce médecin du 5 août 2003 relatif à une infiltration acromio-claviculaire droite sous scopie du 4 août 2003, et un rapport du docteur G._ du 14 juillet 2003. Du 23 avril au 15 septembre 2003, S._ a subi un traitement auprès du docteur H._, spécialiste FMH en chirurgie de la main et spécialiste en chirurgie plastique et reconstructive. Dans un rapport médical du 23 mars 2004, ce praticien a posé les diagnostics ayant des répercussions sur la capacité de travail de neuropathie cubitale du coude gauche et de syndrome du tunnel carpien gauche. Il indiquait que le patient ne présentait pas d'incapacité professionnelle durable en relation avec ces deux problèmes et qu'il n'y avait pas de limitation. Dans un avis médical SMR du 28 juin 2004, le docteur P._ a considéré que l'examen ostéo-articulaire effectué par les médecins de la Clinique Z._ était complet et objectif et qu'un examen par un orthopédiste n'était pas nécessaire. Par décision du 10 septembre 2004, l'office AI a rejeté l'opposition. Par décision du 10 septembre 2004, l'office AI a rejeté l'opposition. B. Dans un mémoire du 9 octobre 2004, S._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de dépens, à la réforme de celle-ci en ce sens qu'il avait droit à une rente entière d'invalidité dès le 1er mars 1998. Il produisait un rapport du 6 septembre 2004 du docteur I._, spécialiste FMH en neurologie à Fribourg, dans lequel ce praticien, qui l'avait examiné le 3 septembre 2004 et avait pratiqué un électromyogramme, indiquait qu'il présentait une forme de fibromyalgie chronique avec notamment des arthralgies polytopes et en particulier à l'épaule droite. Il requérait la mise en oeuvre d'une nouvelle expertise, à confier par exemple au COMAI de Lausanne. Par lettre du 4 juillet 2005, S._ a produit un rapport du 10 juin 2005 du professeur J._, spécialiste FMH en anesthésiologie et médecin du Centre Anti-Douleurs de la Clinique W._. Par jugement du 18 juillet 2005, le Tribunal des assurances a rejeté le recours. Par jugement du 18 juillet 2005, le Tribunal des assurances a rejeté le recours. C. S._ interjette un recours de droit administratif contre ce jugement, en concluant, sous suite de dépens, à l'annulation de celui-ci, la cause étant renvoyée à l'autorité cantonale, subsidiairement à l'office AI, pour complément d'instruction et nouvelle décision. A titre subsidiaire, il conclut à l'octroi d'une rente entière d'invalidité dès le 1er mars 1998. Il produit un rapport du 11 octobre 2005 du docteur K._, professeur associé et spécialiste de la colonne vertébrale à la Clinique V._, ainsi qu'un document du 1er juillet 2002 du docteur L._, spécialiste FMH en radiologie et médecin du centre d'imagerie diagnostique P._. L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.