Faits:
Faits:
A. A.a S._, né en 1959, a travaillé en qualité de manoeuvre au service de l'entreprise X._ SA. Il a présenté le 13 juin 1994 une demande de prestations de l'assurance-invalidité.
Dans un prononcé du 6 septembre 1995, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu à une invalidité de 100 % à partir du 11 mai 1994 et de 50 % dès le 1er mai 1995. Par décisions du 20 novembre 1996, il a alloué à S._ une rente entière d'invalidité du 1er mai 1994 au 30 avril 1995 et une demi-rente pour le mois de mai 1995.
A partir du 3 mars 1998, S._ a présenté une incapacité totale de travail. A deux reprises - soit du 25 mars au 25 mai 1998 et du 2 au 22 juin 1998 -, il a tenté de reprendre à 50 % son activité professionnelle, mais sans succès. Après que son employeur eut résilié son contrat de travail pour le 31 décembre 1998, il a demandé le 21 août 1998 un nouvel examen de son droit aux prestations de l'assurance-invalidité.
Dans un rapport médical du 16 décembre 1998, le docteur D._, spécialiste FMH en médecine générale et médecin traitant de l'assuré, a conclu à une incapacité de travail de 100 % dès le 23 juin 1998, d'une durée indéterminée.
Du 10 mai au 2 juillet 1999, S._ a effectué un stage au COPAI de A._. Dans son appréciation médicale, la doctoresse M._, médecin-conseil, indiquait qu'une activité très légère à 50 % pouvait être exigée du patient, ce qui lui paraissait être le minimum exigible. Selon le rapport d'observation professionnelle du COPAI du 6 juillet 1999, l'assuré devait pouvoir raisonnablement faire face à une activité légère en production industrielle ou à toute autre activité légère, avec des rendements proches de la norme, cela après une période de reconditionnement physique.
Dans un projet de décision du 2 février 2000, l'office AI a avisé l'assuré que dans une activité industrielle légère, sa capacité de travail et donc de gain était pratiquement entière. Il pourrait ainsi réaliser un revenu annuel moyen de l'ordre de 48'100 fr. Comparé au gain de 51'545 fr. par année qui serait le sien dans son ancienne activité, il en résultait une invalidité de 6.6 %, taux qui ne lui donnait aucun droit à une rente.
Le 11 février 2000, le docteur D._ a contesté ce qui précède. Il indiquait notamment que le patient souffrait d'une pathologie gastrique contre-indiquant la prise d'anti-inflammatoire qui lui serait bien nécessaire. A tout le moins était-il donc justifié de procéder à une évaluation par une expertise même psychiatrique s'il y avait lieu.
La doctoresse U._, médecin de l'office AI, a confié une expertise au Centre Médical de Psychothérapie Y._. Dans un rapport du 4 août 2000, lequel se fondait également sur un consilium avec le docteur D._ du 4 juillet 2000, le docteur E._, spécialiste FMH en psychiatrie et psychothérapie, et la psychologue-psychothérapeute F._ ont retenu un trouble somatoforme indifférencié d'intensité légère, tout en relevant qu'il existait de nombreux arguments pour parler d'une exagération volontaire des symptômes, voire de simulation. Ils ont conclu qu'il n'y avait pas de justification psychiatrique expliquant une diminution de la capacité de travail.
Par décision du 15 septembre 2000, l'office AI, s'en tenant aux motifs exposés dans le projet de décision, a rejeté la demande. Par jugement du 23 mai 2001, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par S._ contre cette décision. Par arrêt du 9 juillet 2002, le Tribunal fédéral des assurances a annulé ce jugement et cette décision et renvoyé la cause à l'office AI pour instruction complémentaire et nouvelle décision.
A.b Le docteur P._, médecin du Service médical régional (SMR) de l'assurance-invalidité, a confié une expertise médicale à la Clinique Z._. S._ a séjourné dans cet établissement du 20 au 22 janvier 2003. Le 22 janvier 2003, le docteur N._, spécialiste FMH en neurologie et chef de clinique du service de neuroréadaptation, a procédé à un examen neurologique. Dans un rapport du 28 janvier 2003, ce médecin a retenu le diagnostic de neuropathie ulnaire gauche au coude. Il indiquait qu'il n'y avait aucune limitation neurologique concernant la capacité de travail du patient, quelle que soit son activité. Le 22 janvier 2003, le docteur C._, médecin-chef du service psychosomatique, a procédé à l'examen de l'assuré. Dans une expertise psychiatrique, ce spécialiste a posé le diagnostic de trouble somatoforme indifférencié. Il ne retenait pas d'incapacité de travail sur le plan psychiatrique. Dans un rapport d'expertise du 27 janvier 2003, le docteur R._ a posé les diagnostics ayant une répercussion sur la capacité de travail de trouble somatoforme indifférencié (F45.4 [CIM-10]), d'arthrose acromio-claviculaire droite, de cervicalgies chroniques, de status après cure de hernie discale C5-C6 droite en 1993, de lombalgies chroniques, de discopathies L4-L5 et L5-S1 et de status après chirurgie correctrice des avant-pieds. De façon théorique, on pouvait admettre une diminution de rendement de 30 % au plus dans l'activité exercée auprès de l'entreprise X._ SA, cette appréciation prenant en compte les difficultés que peut éprouver l'assuré pour les activités nécessitant une élévation des membres supérieurs au-delà de la ligne des épaules et pour les déplacements sur un terrain irrégulier. Dans une activité moins exigeante, à un établi par exemple, une pleine capacité était exigible.
Dans un rapport d'examen SMR du 5 mars 2003, le docteur P._ a conclu à une capacité de travail exigible de 70 % dans une activité habituelle et de 100 % dans une activité adaptée à l'état de santé de l'assuré.
Par décision du 30 avril 2003, l'office AI a avisé S._ qu'il présentait une capacité de travail entière dans une activité adaptée à son état de santé et que son invalidité devait être fixée à 9.5 %, taux qui ne donnait pas droit à une rente.
Le 4 juin 2003, S._ a formé opposition contre cette décision, en requérant la mise en oeuvre d'une expertise orthopédique par un spécialiste indépendant de l'office AI et de la Clinique Z._. Il produisait copie d'un courrier adressé le 20 mai 2003 par le docteur D._ au docteur G._, spécialiste FMH en chirurgie orthopédique.
Dans un rapport médical intermédiaire du 18 novembre 2003, le docteur D._ a constaté que l'état de santé du patient s'était aggravé. Ce médecin admettait une diminution du rendement de 50 % dans l'activité de manoeuvre exercée par l'assuré, laquelle n'était plus exigible. Il laissait indécise la question de savoir si l'on pouvait exiger de celui-ci qu'il exerce une autre activité. Il produisait un rapport du docteur O._ du 4 juillet 2003 concernant une IRM de l'épaule droite du 3 juillet 2003, un autre rapport de ce médecin du 5 août 2003 relatif à une infiltration acromio-claviculaire droite sous scopie du 4 août 2003, et un rapport du docteur G._ du 14 juillet 2003.
Du 23 avril au 15 septembre 2003, S._ a subi un traitement auprès du docteur H._, spécialiste FMH en chirurgie de la main et spécialiste en chirurgie plastique et reconstructive. Dans un rapport médical du 23 mars 2004, ce praticien a posé les diagnostics ayant des répercussions sur la capacité de travail de neuropathie cubitale du coude gauche et de syndrome du tunnel carpien gauche. Il indiquait que le patient ne présentait pas d'incapacité professionnelle durable en relation avec ces deux problèmes et qu'il n'y avait pas de limitation.
Dans un avis médical SMR du 28 juin 2004, le docteur P._ a considéré que l'examen ostéo-articulaire effectué par les médecins de la Clinique Z._ était complet et objectif et qu'un examen par un orthopédiste n'était pas nécessaire.
Par décision du 10 septembre 2004, l'office AI a rejeté l'opposition.
Par décision du 10 septembre 2004, l'office AI a rejeté l'opposition.
B. Dans un mémoire du 9 octobre 2004, S._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de dépens, à la réforme de celle-ci en ce sens qu'il avait droit à une rente entière d'invalidité dès le 1er mars 1998. Il produisait un rapport du 6 septembre 2004 du docteur I._, spécialiste FMH en neurologie à Fribourg, dans lequel ce praticien, qui l'avait examiné le 3 septembre 2004 et avait pratiqué un électromyogramme, indiquait qu'il présentait une forme de fibromyalgie chronique avec notamment des arthralgies polytopes et en particulier à l'épaule droite. Il requérait la mise en oeuvre d'une nouvelle expertise, à confier par exemple au COMAI de Lausanne. Par lettre du 4 juillet 2005, S._ a produit un rapport du 10 juin 2005 du professeur J._, spécialiste FMH en anesthésiologie et médecin du Centre Anti-Douleurs de la Clinique W._.
Par jugement du 18 juillet 2005, le Tribunal des assurances a rejeté le recours.
Par jugement du 18 juillet 2005, le Tribunal des assurances a rejeté le recours.
C. S._ interjette un recours de droit administratif contre ce jugement, en concluant, sous suite de dépens, à l'annulation de celui-ci, la cause étant renvoyée à l'autorité cantonale, subsidiairement à l'office AI, pour complément d'instruction et nouvelle décision. A titre subsidiaire, il conclut à l'octroi d'une rente entière d'invalidité dès le 1er mars 1998. Il produit un rapport du 11 octobre 2005 du docteur K._, professeur associé et spécialiste de la colonne vertébrale à la Clinique V._, ainsi qu'un document du 1er juillet 2002 du docteur L._, spécialiste FMH en radiologie et médecin du centre d'imagerie diagnostique P._.
L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le jugement entrepris porte sur des prestations de l'assurance-invalidité. Selon l'art. 132 al. 1 OJ dans sa version selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI (en vigueur depuis le 1er juillet 2006), dans une procédure concernant l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances peut aussi examiner l'inopportunité de la décision attaquée et n'est pas lié par la constatation de l'état de fait de l'autorité cantonale de recours. En vertu de l'art. 132 al. 2 OJ, ces dérogations ne sont cependant pas applicables lorsque la décision qui fait l'objet d'un recours concerne les prestations de l'assurance-invalidité. Selon le ch. II let. c de la loi fédérale du 16 décembre 2005, l'ancien droit s'applique aux recours pendants devant le Tribunal fédéral des assurances au moment de l'entrée en vigueur de la modification. Dès lors que le recours qui est soumis au Tribunal fédéral des assurances était pendant devant lui au 1er juillet 2006, son pouvoir d'examen résulte de l'ancien art. 132 OJ, dont la teneur correspond à celle du nouvel al. 1.
1. Le jugement entrepris porte sur des prestations de l'assurance-invalidité. Selon l'art. 132 al. 1 OJ dans sa version selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI (en vigueur depuis le 1er juillet 2006), dans une procédure concernant l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances peut aussi examiner l'inopportunité de la décision attaquée et n'est pas lié par la constatation de l'état de fait de l'autorité cantonale de recours. En vertu de l'art. 132 al. 2 OJ, ces dérogations ne sont cependant pas applicables lorsque la décision qui fait l'objet d'un recours concerne les prestations de l'assurance-invalidité. Selon le ch. II let. c de la loi fédérale du 16 décembre 2005, l'ancien droit s'applique aux recours pendants devant le Tribunal fédéral des assurances au moment de l'entrée en vigueur de la modification. Dès lors que le recours qui est soumis au Tribunal fédéral des assurances était pendant devant lui au 1er juillet 2006, son pouvoir d'examen résulte de l'ancien art. 132 OJ, dont la teneur correspond à celle du nouvel al. 1.
2. Le litige concerne le droit éventuel du recourant à une rente d'invalidité et porte sur le caractère invalidant des troubles de santé dont il est atteint. Est litigieux le point de savoir si une instruction complémentaire comportant une nouvelle expertise médicale est nécessaire. A titre subsidiaire, le recourant remet en cause le calcul du revenu d'invalide et le taux d'invalidité fondant le droit à la prestation.
2.1 La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'assurance-invalidité. La décision sur opposition litigieuse, du 10 septembre 2004, est postérieure à l'entrée en vigueur de la LPGA. Conformément au principe général de droit transitoire, selon lequel - même en cas de changement des bases légales - les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits, il y a lieu d'examiner le droit à une rente au regard de l'ancien droit pour la période jusqu'au 31 décembre 2002 et en fonction de la nouvelle réglementation légale après cette date (<ref-ruling> et les références; cf. aussi <ref-ruling>).
Pour les mêmes motifs, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004, sont applicables.
2.2 Les définitions de l'incapacité de travail, l'incapacité de gain, l'invalidité, de la méthode de comparaison des revenus et de la révision (de la rente d'invalidité et d'autres prestations durables) contenues dans la LPGA correspondent aux notions précédentes dans l'assurance-invalidité telles que développées à ce jour par la jurisprudence (<ref-ruling>).
2.2 Les définitions de l'incapacité de travail, l'incapacité de gain, l'invalidité, de la méthode de comparaison des revenus et de la révision (de la rente d'invalidité et d'autres prestations durables) contenues dans la LPGA correspondent aux notions précédentes dans l'assurance-invalidité telles que développées à ce jour par la jurisprudence (<ref-ruling>).
3. 3.1 Les atteintes à la santé psychique peuvent, comme les atteintes physiques, entraîner une invalidité au sens de l'art. 4 al. 1 LAI en liaison avec l'art. 8 LPGA. On ne considère pas comme des conséquences d'un état psychique maladif, donc pas comme des affections à prendre en charge par l'assurance-invalidité, les diminutions de la capacité de gain que l'assuré pourrait empêcher en faisant preuve de bonne volonté; la mesure de ce qui est exigible doit être déterminée aussi objectivement que possible (<ref-ruling>; VSI 2001 p. 224 consid. 2b et les références; cf. aussi <ref-ruling> consid. 4c in fine).
La reconnaissance de l'existence d'une atteinte à la santé psychique, soit aussi de troubles somatoformes douloureux persistants, suppose d'abord la présence d'un diagnostic émanant d'un expert (psychiatre) et s'appuyant lege artis sur les critères d'un système de classification reconnu (<ref-ruling> ss consid. 5.3 et consid. 6). Comme pour toutes les autres atteintes à la santé psychique, le diagnostic de troubles somatoformes douloureux persistants ne constitue pas encore une base suffisante pour conclure à une invalidité. Au contraire, il existe une présomption que les troubles somatoformes douloureux ou leurs effets peuvent être surmontés par un effort de volonté raisonnablement exigible. Le caractère non exigible de la réintégration dans le processus de travail peut résulter de facteurs déterminés qui, par leur intensité et leur constance, rendent la personne incapable de fournir cet effort de volonté. Dans un tel cas, en effet, l'assuré ne dispose pas des ressources nécessaires pour vaincre ses douleurs. La question de savoir si ces circonstances exceptionnelles sont réunies doit être tranchée de cas en cas à la lumière de différents critères. Au premier plan figure la présence d'une comorbidité psychiatrique importante par sa gravité, son acuité et sa durée. D'autres critères peuvent être déterminants. Ce sera le cas des affections corporelles chroniques, d'un processus maladif s'étendant sur plusieurs années sans rémission durable (symptomatologie inchangée ou progressive), d'une perte d'intégration sociale dans toutes les manifestations de la vie, d'un état psychique cristallisé, sans évolution possible au plan thérapeutique, résultant d'un processus défectueux de résolution du conflit, mais apportant un soulagement du point de vue psychique (profit primaire tiré de la maladie, fuite dans la maladie), de l'échec de traitements ambulatoires ou stationnaires conformes aux règles de l'art (même avec différents types de traitement), cela en dépit de l'attitude coopérative de la personne assurée (<ref-ruling>). Plus ces critères se manifestent et imprègnent les constatations médicales, moins on admettra l'exigibilité d'un effort de volonté (Meyer-Blaser, Der Rechtsbegriff der Arbeitsunfähigkeit und seine Bedeutung in der Sozialversicherung, in: Schmerz und Arbeitsunfähigkeit, St. Gall 2003, p. 77).
Si les limitations liées à l'exercice d'une activité résultent d'une exagération des symptômes ou d'une constellation semblable, on conclura, en règle ordinaire, à l'absence d'une atteinte à la santé ouvrant le droit à des prestations d'assurance. Au nombre des situations envisagées figurent la discordance entre les douleurs décrites et le comportement observé, l'allégation d'intenses douleurs dont les caractéristiques demeurent vagues, l'absence de demande de soins, les grandes divergences entre les informations fournies par le patient et celles ressortant de l'anamnèse, le fait que des plaintes très démonstratives laissent insensible l'expert, ainsi que l'allégation de lourds handicaps malgré un environnement psychosocial intact (voir Kopp/Willi/Klipstein, Im Graubereich zwischen Körper, Psyche und sozialen Schwierigkeiten, in: Schweizerische Medizinische Wochenschrift 1997, p. 1434, avec référence à une étude approfondie de Winckler et Foerster; voir sur l'ensemble du sujet <ref-ruling>).
3.2 Dans un arrêt du 8 février 2006 (I 336/04), paru aux <ref-ruling>, le Tribunal fédéral des assurances a considéré que la fibromyalgie présente de nombreux points communs avec les troubles somatoformes douloureux, de sorte qu'il se justifie, sous l'angle juridique, et en l'état actuel des connaissances, d'appliquer par analogie les principes développés par la jurisprudence en matière de troubles somatoformes douloureux, lorsqu'il s'agit d'apprécier le caractère invalidant d'une fibromyalgie.
3.2 Dans un arrêt du 8 février 2006 (I 336/04), paru aux <ref-ruling>, le Tribunal fédéral des assurances a considéré que la fibromyalgie présente de nombreux points communs avec les troubles somatoformes douloureux, de sorte qu'il se justifie, sous l'angle juridique, et en l'état actuel des connaissances, d'appliquer par analogie les principes développés par la jurisprudence en matière de troubles somatoformes douloureux, lorsqu'il s'agit d'apprécier le caractère invalidant d'une fibromyalgie.
4. 4.1 Selon une jurisprudence constante, le juge des assurances sociales apprécie la légalité des décisions attaquées, en règle générale, d'après l'état de fait existant au moment où la décision litigieuse a été rendue (<ref-ruling> consid. 1b et les arrêts cités). Les faits survenus postérieurement, et qui ont modifié cette situation, doivent normalement faire l'objet d'une nouvelle décision administrative (<ref-ruling> consid. 1b et la référence).
4.2 Le recourant a produit devant la juridiction cantonale un rapport du professeur J._ du 10 juin 2005. Devant la Cour de céans, il produit notamment un rapport du docteur K._ du 11 octobre 2005.
Ces documents sont postérieurs à la décision sur opposition du 10 septembre 2004 et ils se fondent sur la situation du recourant lors d'une discographie cervicale du 3 mai 2005 et d'une discographie lombaire du 6 juin 2005. Etant donné qu'ils ne portent pas sur la situation qui était la sienne au moment où la décision litigieuse a été rendue, il n'y a pas lieu de les prendre en considération pour apprécier la légalité de cette décision (<ref-ruling> consid. 1b déjà cité).
Ces documents sont postérieurs à la décision sur opposition du 10 septembre 2004 et ils se fondent sur la situation du recourant lors d'une discographie cervicale du 3 mai 2005 et d'une discographie lombaire du 6 juin 2005. Etant donné qu'ils ne portent pas sur la situation qui était la sienne au moment où la décision litigieuse a été rendue, il n'y a pas lieu de les prendre en considération pour apprécier la légalité de cette décision (<ref-ruling> consid. 1b déjà cité).
5. 5.1 Le recourant fait valoir que l'expertise de la Clinique Z._ n'a pas été menée de manière objective. Il conteste l'impartialité des experts, qui ont été désignés unilatéralement et sans concertation préalable par l'office AI.
5.2 Le seul fait que l'office AI confie, dans le cadre de l'instruction d'une demande de prestations AI, un mandat d'expertise à la Clinique Z._ ne permet pas en soi de douter de l'objectivité et de l'impartialité des médecins qui y travaillent (arrêts S. du 30 juin 2004 [I 642/03] et B. du 26 juillet 2002 [I 19/02]). En effet, du moment que l'impartialité objective des médecins liés par des relations de service à l'assurance-accidents vis-à-vis de celle-ci n'est pas mise en doute, comme d'ailleurs, bien que dans un cadre relationnel différent, celle des médecins du COMAI à l'égard de l'AI, on ne voit pas que l'impartialité objective pourrait être déniée aux médecins travaillant à la Clinique de réadaptation (liée à l'assurance-accidents) lorsqu'ils donnent leur avis d'experts à la demande de l'assurance-invalidité. En outre, la CNA n'est pas partie à la présente procédure. On ne voit pas ce qui aurait pu amener les experts à faire preuve, subjectivement, de partialité dans le cadre d'un litige qui oppose le recourant à l'office AI. A tout le moins, il convient de constater que la preuve du contraire permettant de renverser la présomption d'impartialité dont bénéficie l'expert n'a pas été rapportée (cf. Auer/Malinverni/Hottelier, Droit constitutionnel suisse, Berne 2000, n° 1205). Au stade de la procédure d'opposition, le recourant a pu consulter l'ensemble du dossier de l'assurance-invalidité. S'il avait des doutes sur l'impartialité des médecins de la Clinique Z._, il avait la possibilité d'invoquer ce grief déjà à ce stade de la procédure, ce qu'il n'a pas fait.
5.2 Le seul fait que l'office AI confie, dans le cadre de l'instruction d'une demande de prestations AI, un mandat d'expertise à la Clinique Z._ ne permet pas en soi de douter de l'objectivité et de l'impartialité des médecins qui y travaillent (arrêts S. du 30 juin 2004 [I 642/03] et B. du 26 juillet 2002 [I 19/02]). En effet, du moment que l'impartialité objective des médecins liés par des relations de service à l'assurance-accidents vis-à-vis de celle-ci n'est pas mise en doute, comme d'ailleurs, bien que dans un cadre relationnel différent, celle des médecins du COMAI à l'égard de l'AI, on ne voit pas que l'impartialité objective pourrait être déniée aux médecins travaillant à la Clinique de réadaptation (liée à l'assurance-accidents) lorsqu'ils donnent leur avis d'experts à la demande de l'assurance-invalidité. En outre, la CNA n'est pas partie à la présente procédure. On ne voit pas ce qui aurait pu amener les experts à faire preuve, subjectivement, de partialité dans le cadre d'un litige qui oppose le recourant à l'office AI. A tout le moins, il convient de constater que la preuve du contraire permettant de renverser la présomption d'impartialité dont bénéficie l'expert n'a pas été rapportée (cf. Auer/Malinverni/Hottelier, Droit constitutionnel suisse, Berne 2000, n° 1205). Au stade de la procédure d'opposition, le recourant a pu consulter l'ensemble du dossier de l'assurance-invalidité. S'il avait des doutes sur l'impartialité des médecins de la Clinique Z._, il avait la possibilité d'invoquer ce grief déjà à ce stade de la procédure, ce qu'il n'a pas fait.
6. 6.1 Les premiers juges ont admis que l'expertise de la Clinique Z._ avait pleine valeur probante, ce que conteste le recourant. Selon lui, le rapport du 27 janvier 2003 présente des contradictions et des lacunes qui le rendent incomplet.
6.2 En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références).
6.3 Ainsi que l'ont constaté les premiers juges, l'expertise de la Clinique Z._ du 27 janvier 2003 contient les antécédents, la description des plaintes du patient, un examen clinique circonstancié, et enfin une appréciation de la situation médicale et de la capacité de travail de l'assuré. Selon eux, ce rapport est particulièrement bien étayé et exempt de contradictions.
La Cour de céans n'a aucune raison de s'écarter sur ce point du jugement attaqué. Dans le rapport du 27 janvier 2003, le docteur R._ indique qu'au terme de l'entretien de synthèse, les experts ne retiennent pas d'affection qui, individuellement, soit susceptible de limiter la capacité de travail dans une activité adaptée. Il souligne que chaque site douloureux semble constituer une pierre supplémentaire à l'édifice de l'invalidité construit par l'assuré ces dernières années, les pierres les plus récentes, notamment l'atteinte de l'épaule droite, étant apparues après l'arrêt de renvoi du 9 juillet 2002.
Contrairement à l'avis du recourant, on ne voit pas en quoi il y aurait une contradiction dans la discussion globale ci-dessus menée par les experts de la Clinique Z._. Comme cela ressort de la page 4 de leur rapport du 27 janvier 2003, ceux-ci ont mentionné l'IRM de l'épaule droite réalisée le 26 juin 2002, en indiquant que cet examen avait révélé des signes d'une arthrose acromio-claviculaire et une synovite aiguë avec bursite sous-acromiale. Dans leur appréciation du cas, ils en ont tenu compte en page 12 de l'expertise, à propos du bilan d'imagerie. Ainsi, le fait que le docteur L._ s'est fondé sur une IRM de l'épaule droite du 26 juin 2002, alors que le rapport du 27 janvier 2003 mentionne en page 10 une IRM de l'épaule droite du 3 juillet 2002, n'enlève rien à la pertinence de l'examen des documents d'imagerie auquel ont procédé les médecins de la Clinique Z._. Sur ce point, le grief du recourant est mal fondé.
6.4 Les arguments du recourant sur le caractère prétendument lacunaire du rapport de la Clinique Z._ du 27 janvier 2003 sont dénués de fondement. Même si, dans l'entretien de synthèse, les experts ont considéré que l'atteinte du rachis et des genoux, déjà présente en 1994, ne s'était objectivement pas modifiée par la suite et qu'elle n'avait pas empêché l'assuré de reprendre son activité en 1995, cela ne permet de tirer aucune conclusion en ce qui concerne la valeur probante de ce rapport.
6.4.1 L'examen clinique ne saurait être qualifié de superficiel, contrairement à l'avis du recourant. Bien au contraire, ainsi que cela ressort du rapport du 27 janvier 2003 (cf. les pages 8 et 9), les experts de la Clinique Z._ ont procédé à un examen clinique approfondi en ce qui concerne le status ostéo-articulaire, le rachis, les membres supérieurs et les membres inférieurs. Le fait que les experts n'ont effectué ni IRM ni radiographies n'y change rien.
6.4.2 L'appréciation du cas par les experts de la Clinique Z._ se fonde sur un examen complet.
Ainsi qu'ils l'ont indiqué dans leur rapport du 27 janvier 2003, en juillet 1993, le recourant avait été opéré d'une hernie discale cervicale para-médiane droite C5-C6 dont les suites avaient été laborieuses, qu'il avait déposé en mai 1994 une première demande de prestations de l'assurance-invalidité en invoquant essentiellement des douleurs rachidiennes, qu'au cours du printemps 1995 il avait repris son ancienne activité avec un rendement complet et que les années suivantes avaient été ponctuées d'arrêts de travail sporadiques en raison de problèmes ostéo-articulaires multiples, surtout des rachialgies nécessitant des contrôles par IRM cervicale en 1997 et par IRM lombaire en 1998, avant de cesser son activité au printemps 1998.
Rien ne permet d'en conclure que le rapport du 27 janvier 2003 présente des lacunes en ce qui concerne les troubles dont est atteint le recourant. Ainsi que l'indique le docteur P._ dans le rapport d'examen SMR du 5 mars 2003, dont la Cour de céans n'a pas de raison de s'écarter, les conclusions des experts de la Clinique Z._ sont complètes et fondées et elles corroborent les appréciations de tous les professionnels (médecins, gestionnaires, maîtres socio-professionnels) impliqués dans le dossier. En effet, l'examen somatique spécialisé très complet des docteurs R._ et N._ confirme l'absence d'atteinte ostéo-articulaire et/ou neurologique significativement limitative quant à la capacité de travail. Or, le docteur P._, qui a eu connaissance des rapports médicaux produits entre-temps par le docteur D._, a confirmé dans son avis médical du 28 juin 2004 le minutieux travail d'analyse réalisé par le docteur R._, considérant que l'examen ostéo-articulaire était complet et objectif.
6.4.3 Enfin, contrairement à ce que semble croire le recourant, le rapport du docteur I._ du 6 septembre 2004, dans lequel ce médecin a retenu le diagnostic de fibromyalgie chronique, ne remet pas en cause le caractère complet de l'expertise de la Clinique Z._ du 27 janvier 2003.
6.5 Avec les premiers juges, il y a donc lieu d'admettre que le rapport de la Clinique Z._ du 27 janvier 2003 remplit toutes les conditions auxquelles la jurisprudence soumet la valeur probante d'un tel document (<ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références).
6.5 Avec les premiers juges, il y a donc lieu d'admettre que le rapport de la Clinique Z._ du 27 janvier 2003 remplit toutes les conditions auxquelles la jurisprudence soumet la valeur probante d'un tel document (<ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références).
7. 7.1 Sur le plan physique, les premiers juges ont retenu que le recourant disposait d'une capacité de travail entière dans une activité adaptée. Ils se sont fondés sur le rapport du docteur R._ du 27 janvier 2003 et sur celui du docteur H._ du 23 mars 2004. Ainsi, le docteur R._ a considéré que les divers diagnostics somatiques retenus n'étaient pas, individuellement, susceptibles de limiter la capacité de travail de l'intéressé dans une activité adaptée, ne nécessitant pas une élévation des membres supérieurs au-delà de la ligne des épaules et évitant les déplacements sur un terrain irrégulier. De son côté, le docteur H._ a constaté que la neuropathie cubitale du coude gauche et le syndrome du tunnel carpien gauche, dont souffre l'assuré depuis le début de l'année 2003, n'entraînaient aucune incapacité professionnelle durable, ni de limitation.
Les arguments du recourant ne sont pas propres à mettre sérieusement en doute la pertinence des conclusions des experts de la Clinique Z._ et du docteur H._ ou à justifier la mise en oeuvre d'une nouvelle expertise. Même si le docteur I._, se fondant sur un électromyogramme du 3 septembre 2004, indique dans son rapport du 6 septembre 2004 un discret ralentissement de la vitesse de conduction du coude ainsi qu'une perte d'amplitude, il n'en demeure pas moins que son appréciation ne remet pas en cause l'absence d'atteinte ostéo-articulaire et/ou neurologique significativement limitative quant à la capacité de travail. Ainsi que l'a constaté le docteur N._ dans son examen neurologique du 22 janvier 2003, les troubles de la sensibilité présentés par le patient au membre supérieur gauche sont compatibles avec une neuropathie ulnaire au coude, même si le déficit sensitif dépasse le territoire habituel de ce tronc nerveux. Le diagnostic a du reste été confirmé par un électromyogramme effectué par le docteur I._ il y a deux ans. Quoi qu'il en soit, le déficit moteur, si présent, reste discret et la neuropathie ne peut pas être considérée comme génératrice d'un handicap significatif à moyen ou long terme. Selon les conclusions du docteur N._, l'examen neurologique est normal et il n'y a, de son point de vue, aucune limitation neurologique concernant la capacité de travail du patient, quelle que soit son activité.
Dans son rapport médical du 18 novembre 2003, le docteur D._ a admis des changements dans les diagnostics. Il relève notamment une aggravation des lombo-dorsalgies. Selon lui, une reprise du travail est illusoire. Toutefois, cet avis a moindre valeur probante que le rapport d'expertise de la Clinique Z._ du 27 janvier 2003 en raison du rapport de confiance qui lie le médecin traitant à son patient (<ref-ruling> consid. 3b/cc; comp. <ref-ruling> consid. 4). Quant aux différents rapports produits par ce médecin, ils ne font que répéter l'énumération des diagnostics déjà connus et déjà évalués, ainsi que l'indique le docteur P._ dans son avis médical du 28 juin 2004. Sur ce point, le jugement attaqué doit ainsi être confirmé.
7.2 Sur le plan psychiatrique, les premiers juges, se fondant sur les conclusions de l'expertise de la Clinique Z._ du 27 janvier 2003, ont retenu que le recourant ne présentait pas d'atteinte psychique, qui soit de nature à rendre invalidant l'état douloureux relevé par les experts.
De son côté, le recourant fait valoir que le diagnostic de fibromyalgie chronique posé par le docteur I._ dans son rapport du 6 septembre 2004 se distingue clairement du trouble somatoforme indifférencié évoqué par les experts dans leur rapport du 27 janvier 2003.
7.2.1 Dans le cadre de l'expertise de la Clinique Z._, le docteur C._ a examiné l'assuré le 22 janvier 2003. Dans son rapport d'expertise psychiatrique, il a posé le diagnostic de trouble somatoforme indifférencié, bien que l'on soit à la limite inférieure du seuil diagnostique. A son avis, il n'y a pas de comorbidité significative telle qu'un état dépressif franc ou un trouble de la personnalité. Ce spécialiste n'a donc pas retenu d'incapacité de travail sur le plan psychiatrique. Dans leur rapport du 27 janvier 2003, les experts ont posé le diagnostic ayant une répercussion sur la capacité de travail de trouble somatoforme indifférencié (F45.4). Au terme de l'entretien de synthèse, ils n'ont pas retenu d'affection qui, individuellement, soit susceptible de limiter la capacité de travail dans une activité adaptée. Etant donné l'avis mentionné ci-dessus du docteur C._, le recourant ne présente pas de comorbidité importante par sa gravité, son acuité et sa durée (supra, consid. 3.1).
Les autres critères consacrés par la jurisprudence, dont l'existence permet d'admettre le caractère non exigible de la reprise du travail, ne sont pas non plus réalisés. On ne voit pas que le recourant réunit en sa personne plusieurs de ces critères (ou du moins pas dans une mesure très marquée) qui fondent un pronostic défavorable en ce qui concerne l'exigibilité d'une reprise d'activité professionnelle. Ainsi que l'ont constaté les experts de la Clinique Z._, la description précise de l'influence des troubles sur l'activité exercée paraît artificielle dans la mesure où, par son comportement, le recourant interdit toute évaluation objective de ses performances. Le stage au COPAI a démontré qu'il refusait de s'impliquer. Les évaluations médicales neutres ont toutes souligné le hiatus entre les plaintes et les constatations objectives. Ces discordances ont été également relevées par tous les observateurs ayant collaboré à l'expertise (rapport du 27 janvier 2003). Il n'y a pas non plus de perte d'intégration sociale dans toutes les manifestations de la vie. Les experts de la Clinique Z._ ont relevé que le recourant assumait les activités ménagères et qu'il parvenait à s'impliquer sur le plan social (il est caissier dans le comité d'un choeur d'enfants). Enfin, on ne voit pas au dossier que chez le recourant, l'apparition du trouble somatoforme résulterait d'une libération du processus de résolution du conflit, mais apportant un soulagement du point de vue psychique (profit primaire tiré de la maladie, fuite dans la maladie). Les médecins consultés ne font mention d'aucune source de conflit intrapsychique ni situation conflictuelle externe permettant d'expliquer le développement du trouble somatoforme indifférencié et son aboutissement jusqu'à une interruption totale de toute activité lucrative.
Il apparaît ainsi que le trouble somatoforme indifférencié ne se manifeste pas avec une sévérité telle que, d'un point de vue objectif, seule une mise en valeur limitée de la capacité de travail du recourant puisse être raisonnablement exigée de lui.
7.2.2 La fibromyalgie présente de nombreux points communs avec les troubles somatoformes douloureux (<ref-ruling> consid. 4.1). Il existe une présomption que les troubles somatoformes douloureux ou leurs effets peuvent être surmontés par un effort de volonté raisonnablement exigible (<ref-ruling>). Il y a lieu de poser la même présomption en présence d'une fibromyalgie (<ref-ruling> consid. 4.2.1). Une expertise psychiatrique est, en principe, nécessaire quand il s'agit de se prononcer sur l'incapacité de travail que les troubles somatoformes douloureux sont susceptibles d'entraîner (<ref-ruling> consid. 2.2.2 et 399 consid. 5.3.2). Quand bien même le diagnostic de fibromyalgie est d'abord le fait d'un médecin rhumatologue, il convient ici aussi d'exiger le concours d'un médecin spécialiste en psychiatrie, d'autant plus que les facteurs psychosomatiques ont, selon l'opinion dominante, une influence décisive sur le développement de cette atteinte à la santé (<ref-ruling> consid. 4.3).
Dans son rapport du 6 septembre 2004, le docteur I._ est de l'avis que le recourant présente une forme de fibromyalgie chronique avec notamment des arthralgies polytopes et en particulier à l'épaule droite. Toutefois, ce médecin, spécialiste en neurologie, n'indique pas sur quels éléments il se fonde pour retenir ce diagnostic. Cela est un motif de mettre en doute le diagnostic de fibromyalgie chronique posé par le docteur I._.
Même dans l'hypothèse d'une fibromyalgie, il existe une présomption que celle-ci pourrait être surmontée par un effort de volonté raisonnablement exigible (<ref-ruling> consid. 4.2.1 déjà cité). Etant donné que les critères dont l'existence permet d'admettre le caractère non exigible de la reprise du travail ne sont pas réalisés en ce qui concerne le trouble somatoforme indifférencié dont le recourant est atteint, ils ne le sont pas non plus dans le cas d'une fibromyalgie (<ref-ruling> consid. 4.2.2).
Même dans l'hypothèse d'une fibromyalgie, il existe une présomption que celle-ci pourrait être surmontée par un effort de volonté raisonnablement exigible (<ref-ruling> consid. 4.2.1 déjà cité). Etant donné que les critères dont l'existence permet d'admettre le caractère non exigible de la reprise du travail ne sont pas réalisés en ce qui concerne le trouble somatoforme indifférencié dont le recourant est atteint, ils ne le sont pas non plus dans le cas d'une fibromyalgie (<ref-ruling> consid. 4.2.2).
8. Il convient d'évaluer l'invalidité du recourant.
8.1 Pour évaluer le taux d'invalidité, le revenu que l'assuré aurait pu obtenir s'il n'était pas invalide (revenu sans invalidité) est comparé avec celui qu'il pourrait obtenir en exerçant l'activité qui peut raisonnablement être exigée de lui après les traitements et les mesures de réadaptation, sur un marché du travail équilibré (revenu d'invalide). C'est la méthode ordinaire de comparaison des revenus (jusqu'au 31 décembre 2002: art. 28 al. 2 LAI; du 1er janvier au 31 décembre 2003: art. 1 al. 1 LAI en corrélation avec l'art. 16 LPGA; depuis le 1er janvier 2004: art. 28 al. 2 LAI en corrélation avec l'art. 16 LPGA).
Pour procéder à la comparaison des revenus, il convient de se placer au moment de la naissance du droit à la rente; les revenus avec et sans invalidité doivent être déterminés par rapport à un même moment et les modifications de ces revenus susceptibles d'influencer le droit à la rente survenues jusqu'au moment où la décision est rendue être prises en compte (<ref-ruling>, 128 V 174). En l'espèce, le recourant a présenté une incapacité totale de travail à partir du 3 mars 1998. La naissance du droit à la rente remonte au plus tôt au 3 mars 1999 (art. 29 al. 1 let. b LAI). Il y a donc lieu de se reporter à l'année 1999.
8.2 Le revenu sans invalidité s'évalue, en règle générale, d'après le dernier salaire que l'assuré a obtenu avant l'atteinte à la santé, en tenant compte de l'évolution des circonstances à l'époque où est né le droit à la rente. Compte tenu des capacités professionnelles de l'assuré et des circonstances personnelles le concernant, on prend en considération ses chances réelles d'avancement compromises par le handicap, en posant la présomption que l'assuré aurait continué d'exercer son activité sans la survenance de son invalidité. Des exceptions ne sauraient être admises que si elles sont établies au degré de la vraisemblance prépondérante (<ref-ruling> consid. 4.3.1 et la référence). On ne saurait s'écarter du dernier salaire que l'assuré a obtenu avant l'atteinte à la santé pour le seul motif que celui-ci disposait, avant la survenance de son invalidité, de meilleures possibilités de gain que celles qu'il mettait en valeur et qui lui permettaient d'obtenir un revenu modeste (<ref-ruling> consid. 5c/bb et les arrêts cités); il convient toutefois de renoncer à s'y référer lorsqu'il ressort de l'ensemble des circonstances du cas que l'assuré, sans invalidité, ne se serait pas contenté d'une telle rémunération de manière durable (PJA 2002 1487; RCC 1992 p. 96 consid. 4a).
Dans le cas particulier, l'intimé a calculé le revenu sans invalidité du recourant en se fondant sur un salaire de 3'965 fr. par mois - soit un revenu annuel de 51'545 fr. (3'965 x 13) -, qui aurait été le sien s'il avait travaillé en 1999 en qualité de manoeuvre auprès de l'entreprise X._ SA (questionnaire pour l'employeur du 7 janvier 1999; rapport intermédiaire de l'office AI du 19 août 1999). Ce calcul n'est pas remis en cause devant la Cour de céans et il n'y a aucune raison de s'en écarter.
8.3 En ce qui concerne le revenu d'invalide du recourant, il est possible, en l'absence d'un revenu effectivement réalisé, d'évaluer le revenu d'invalide en se fondant sur les données statistiques ressortant de l'Enquête suisse sur la structure des salaires (<ref-ruling> s. consid. 3b/aa et bb), comme l'ont fait l'office AI et les premiers juges. On se réfère alors à la statistique des salaires bruts standardisés, en se fondant toujours sur la médiane ou valeur centrale (<ref-ruling> consid. 3b/bb; VSI 1999 p. 182).
Selon les experts de la Clinique Z._ (rapport du 27 janvier 2003, page 13), on peut admettre une diminution de rendement dans l'activité exercée auprès de l'entreprise X._ SA, cette appréciation prenant en compte les difficultés que peut éprouver l'assuré pour les activités nécessitant une élévation des membres supérieurs au-delà de la ligne des épaules et pour les déplacements sur un terrain irrégulier. Dans une activité moins exigeante, à un établi par exemple, une pleine capacité est exigible.
Compte tenu de l'activité de substitution raisonnablement exigible de la part du recourant dans un emploi adapté à son état de santé - à un établi par exemple (rapport ci-dessus du 27 janvier 2003) -, le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé (RAMA 2001 n° U 439 p. 347), à savoir 4'268 fr. par mois (tous secteurs confondus) - valeur en 1998 - part au 13ème salaire comprise (L'Enquête suisse sur la structure des salaires 1998, p. 25, Tableau TA1, niveau de qualification 4), soit 51'216 fr. par année. Adapté à l'évolution des salaires de l'année 1999 (0.3 %; La Vie économique, 10-2005, p. 83, tabelle B10.2), le revenu annuel s'élève à 51'370 fr. Ce salaire hypothétique représente, compte tenu du fait que les salaires bruts standardisés se basent sur un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 1999 (41.8 heures; La Vie économique, 10-2005, p. 82, tabelle B9.2) un revenu annuel de 53'682 fr. (51'370 fr. x 41.8 : 40).
La mesure dans laquelle les salaires ressortant des statistiques doivent être réduits, dépend de l'ensemble des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité/catégorie d'autorisation de séjour et taux d'occupation) et résulte d'une évaluation dans les limites du pouvoir d'appréciation. Une déduction globale maximum de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (<ref-ruling> s. consid. 5b/aa-cc; voir aussi <ref-ruling> consid. 4.2.3; VSI 2002 p. 70 s. consid. 4b). En l'espèce, l'office AI a admis une réduction de 15 %, laquelle a été confirmée par les premiers juges. Le recourant objecte que seule la déduction globale maximum de 25 % entre en considération, afin de tenir compte des multiples affections dont il souffre. Toutefois, la Cour de céans n'a aucune raison de s'écarter du taux de réduction de 15 % retenu par l'intimé et les premiers juges. En effet, seuls les critères de limitation liés au handicap, aux années de service et à la nationalité sont remplis dans le cas particulier, de sorte que seule une déduction de 15 %, au plus, apparaît justifiée.
Compte tenu d'un abattement de 15 %, le revenu annuel d'invalide évalué sur la base des statistiques salariales est ainsi de 45'630 fr. (valeur 1999).
8.4 La comparaison des revenus ([51'545 - 45'630] x 100 : 51'545) donne une invalidité de 11 % (le taux de 11,47 % étant arrondi au pour cent inférieur [<ref-ruling> s. consid. 3. 2; SVR 2004 UV Nr. 12 p. 44]), taux qui ne donne pas droit à une rente d'invalidité (art. 28 al. 1 LAI).
Le recours est ainsi mal fondé.
Le recours est ainsi mal fondé.
9. Le litige ayant pour objet l'octroi ou le refus de prestations d'assurance, la procédure est gratuite (art. 134 OJ). Le recourant, qui succombe, ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 21 novembre 2006
Au nom du Tribunal fédéral des assurances
La Juge présidant la IVe Chambre: Le Greffier: