Faits:
A. A.a Par décision du 8 décembre 2000, l'Office de l'assurance-invalidité pour le canton de Vaud, rejetant la demande de prestations de l'assurance-invalidité présentée par H._ le 13 mai 1997, a refusé de lui allouer une rente d'invalidité, au motif qu'il résultait de la comparaison des revenus une invalidité de 18.32 %, taux ne conférant pas droit à une rente. Par jugement du 20 juin 2002, le Tribunal des assurances du canton de Vaud a admis très partiellement le recours formé par H._ contre cette décision qu'il a réformée dans le sens des considérants, celui-ci ayant droit à une aide au placement de l'assurance-invalidité. Pour le surplus, il a confirmé la décision attaquée, au motif que H._ présentait une invalidité de 31.15 %, taux qui ne donnait pas droit à une rente d'invalidité. Par arrêt du 17 novembre 2003, le Tribunal fédéral des assurances a annulé ce jugement et la décision administrative de refus de rente, la cause étant renvoyée à l'office AI pour instruction complémentaire au sens des considérants et nouvelle décision.
A.b Dans un rapport du 21 avril 2004, le docteur L._, spécialiste FMH en médecine générale et médecin traitant de l'assuré, a posé les diagnostics ayant des répercussions sur la capacité de travail d'ankylose hyperalgique de l'articulation scapulo-humérale droite et de status post probable Sudeck du membre supérieur droit. Il indiquait que la capacité de travail du patient était nulle en tant que manoeuvre du bâtiment et qu'il ne voyait pas quelle activité pourrait être exigible, vu que celui-ci présentait des douleurs décrites comme permanentes de l'épaule droite irradiant dans le coude et que tout mouvement d'adduction, abduction ou rotation de l'humérus était décrit comme extrêmement douloureux.
Sur proposition de la doctoresse M._, médecin SMR (avis médical du 7 juin 2005), les docteurs S._ (spécialiste FMH en chirurgie orthopédique) et V._ (spécialiste FMH en psychiatrie), médecins SMR, ont procédé le 11 août 2005 à un examen orthopédique et psychiatrique. Dans un rapport du 5 septembre 2005, ils ont posé les diagnostics avec répercussion sur la capacité de travail de status après fracture diaphysaire du cubitus droit traitée par ostéosynthèse par plaque - trois mois après pour déplacement et non consolidation de la fracture (T92.9), de douleurs du membre supérieur droit d'origine indéterminée et de tendinopathie du sus-épineux de la coiffe des rotateurs de l'épaule droite. Relevant que l'assuré n'avait jamais eu d'incapacité de travail d'ordre psychiatrique et qu'il ne souffrait pas de maladie psychiatrique invalidante, ils concluaient à une capacité de travail exigible nulle dans l'activité habituelle depuis le 16 janvier 1996 et de 100 % dans une activité adaptée depuis le 1er novembre 1996, soit six mois après l'ostéosynthèse du cubitus droit. La doctoresse M._ a fait siennes les conclusions de ces médecins (avis médical du 27 septembre 2005).
Par décision du 17 février 2006, l'Office de l'assurance-invalidité pour le canton de Vaud a refusé d'allouer à H._ une rente d'invalidité, au motif qu'il présentait une invalidité de 8.45 %, taux ne donnant pas droit à une rente. Le 27 mars 2006, celui-ci a formé opposition contre cette décision. Il a produit un certificat médical du docteur L._ du 7 avril 2006. Par décision du 14 novembre 2007, l'office AI a rejeté l'opposition.
B. Le 14 décembre 2007, H._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud), en concluant, sous suite de dépens, à l'octroi d'une demi-rente d'invalidité, à titre subsidiaire à l'annulation de la décision entreprise, la cause étant renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud pour instruction complémentaire et nouvelle décision dans le sens des considérants. Par arrêt du 28 octobre 2010, la juridiction cantonale a rejeté le recours.
C. H._ interjette un recours contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une "demi-rente entière d'invalidité" lui est octroyée et à ce qu'un complément d'analyse pluridisciplinaire autant sur le plan physique que psychique soit entamé. A titre subsidiaire, il demande que la décision administrative de refus de rente du 17 février 2006 soit annulée, une nouvelle décision devant être prise par l'Office de l'assurance-invalidité pour le canton de Vaud dans le sens des considérants. Par lettre du 14 janvier 2011, il a produit un certificat médical du docteur L._ du 17 décembre 2010.
Considérant en droit:
1. 1.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement en cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire insoutenable, voire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère insoutenable ou arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2, respectivement de l'art. 106 al. 2 LTF (ATF 135 III 127 consid. 1.6 p. 130 et l'arrêt cité, 134 II 244 consid. 2.2 p. 246, 133 II 249 consid. 1.4.3 p. 254 s.).
1.2 Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). Par lettre du 14 janvier 2011, le recourant a produit un certificat médical du docteur L._ du 17 décembre 2010. Au regard de l'art. 99 al. 1 LTF, ces moyens ne sont pas admissibles, le jugement entrepris ne justifiant pas pour la première fois de les soulever et le recourant ne montrant pas en quoi les conditions d'une exception à l'interdiction des faits ou moyens de preuve nouveaux selon cette disposition légale sont remplies (ATF 136 III 261 consid. 4.1 p. 266, 133 III 393 consid. 3 p. 395; MEYER in: M.A. Niggli/P. Ubersax/H. Wiprächtiger [édit.], Bundesgerichtsgesetz, Bâle 2008, ad art. 99 LTF, n. 43 p. 979).
1.3 Les principes relatifs au pouvoir d'examen développés dans l'ATF 132 V 393 consid. 3 p. 397 s. continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application du droit par cette dernière (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité - dans la mesure où elle dépend d'une évaluation de la personne concrète, de son état de santé et de ses capacités fonctionnelles - relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398).
2. 2.1 Le litige porte sur le droit du recourant à une rente d'invalidité, singulièrement sur l'atteinte à la santé qu'il présente et l'incidence de celle-ci sur sa capacité de travail ainsi que sur le taux d'invalidité fondant le droit à la prestation.
2.2 Le jugement entrepris expose correctement les règles régissant l'évaluation de l'invalidité des assurés exerçant une activité lucrative (art. 16 LPGA en corrélation avec l'art. 28 al. 2 LAI jusqu'au 31 décembre 2007) et les règles et principes jurisprudentiels sur la valeur probante d'un rapport médical (ATF 134 V 231 consid. 5.1 p. 232, 133 V 450 consid. 11.1.3 p. 469, 125 V 351 consid. 3a p. 352), en cas de divergence d'opinion entre experts et médecins traitants (ATF 124 I 170 consid. 4 p. 175; arrêt I 514/06 du 25 mai 2007 consid. 2.2.1, in SVR 2008 IV n° 15 p. 43). On peut ainsi y renvoyer.
3. La juridiction cantonale a considéré que l'expertise des docteurs S._ et V._ du 5 septembre 2005 avait permis de confirmer que les éléments à l'origine de l'échec du stage au COPAI n'étaient pas d'ordre médical et ne relevaient dès lors pas de l'assurance-invalidité, l'état douloureux ne pouvant à lui seul justifier une incapacité de travail. Elle a fait siennes les conclusions de ces médecins. Ainsi, le syndrome douloureux du recourant touchant l'appareil locomoteur ne s'expliquait par aucune atteinte objective et le recourant ne souffrait pas de maladie psychiatrique invalidante. L'autorité précédente a retenu que dans une activité adaptée aux limitations fonctionnelles, le rendement du recourant n'était pas diminué et qu'il disposait d'une capacité résiduelle de travail raisonnablement exigible de 100 %.
3.1 Le recourant allègue qu'il est atteint d'un trouble somatoforme et désormais d'un état anxio-dépressif ayant valeur de comorbidité psychiatrique, de sorte qu'il présente une incapacité totale de travail. Selon lui, l'expertise des médecins du SMR du 5 septembre 2005 est incomplète, dans la mesure où elle n'examine pas les critères permettant d'apprécier le caractère invalidant de troubles somatoformes douloureux persistants. Il reproche à l'autorité précédente de s'être fondée sur un état de fait incomplet et d'avoir procédé à une appréciation arbitraire des preuves en retenant qu'il serait capable d'exercer une activité adaptée.
3.2 L'argumentation du recourant invoquant un trouble somatoforme et un état anxio-dépressif ayant valeur de comorbidité psychiatrique ne répond nullement aux exigences de l'art. 42 al. 2, respectivement de l'art. 106 al. 2 LTF (supra, consid. 1.1). La juridiction cantonale a relevé que le docteur D._, dans son rapport du 19 novembre 1998 où il s'était exprimé à l'issue du stage d'observation professionnelle au COPAI, s'était limité à faire état d'un syndrome douloureux. Elle a relevé également que dans son rapport du 21 avril 2004 et le certificat médical du 7 avril 2006 le docteur L._ n'avait posé aucun diagnostic sur le plan psychique ni fait mention de tels troubles. Enfin, il ressort du jugement entrepris que dans le rapport du 5 septembre 2005, la doctoresse V._ a indiqué que l'examen psychiatrique n'avait mis en évidence aucune maladie psychiatrique qui pourrait porter préjudice à la capacité de travail, notamment qu'il n'y avait aucun signe objectif de la lignée dépressive. Cela n'est nullement discuté par le recourant, dont les déclarations faisant état d'atteintes psychiatriques et neurologiques dont il affirme qu'elles sont devenues progressivement déterminantes ne permettent pas de considérer que l'autorité précédente, en retenant avec les docteurs S._ et V._ que le syndrome douloureux touchant l'appareil locomoteur ne s'expliquait par aucune atteinte objective et que le recourant ne souffrait pas de maladie psychiatrique invalidante, ait établi les faits de façon manifestement inexacte ou en violation du droit. Le recours est mal fondé de ce chef.
3.3 Il en va de même pour les critères invoqués par le recourant permettant d'apprécier le caractère invalidant de troubles somatoformes douloureux persistants, qui ne sont pas non plus discutés ou explicités pour ce qui le concerne. Il suffit sur ce point de relever que les docteurs S._ et V._ ont fait mention d'une vie sociale essentiellement axée sur la famille et quelques amis de préférence d'origine albanaise, ce qui exclut une perte d'intégration dans toutes les manifestations de la vie. Leur rapport du 5 septembre 2005, dont les conclusions relatives à la capacité de travail exigible du recourant dans une activité adaptée sont dûment motivées, remplit les critères jurisprudentiels permettant de reconnaître à un rapport médical pleine valeur probante (ATF 125 V 351 consid. 3a p. 352, 122 V 157 consid. 1c p. 160). Le rapport des docteurs S._ et V._ du 5 septembre 2005 suffisait pour statuer en pleine connaissance de cause, de sorte que la juridiction cantonale pouvait se dispenser d'administrer d'autres preuves (appréciation anticipée des preuves; ATF 131 V 153 consid. 3 p. 157, 125 I 127 consid. 6c/cc p. 135).
Les affirmations du recourant (supra, consid. 3.1) ne permettent pas de considérer que la juridiction cantonale, en retenant que dans une activité adaptée aux limitations fonctionnelles le rendement du recourant n'était pas diminué et qu'il disposait d'une capacité résiduelle de travail raisonnablement exigible de 100 %, ait établi les faits de façon manifestement inexacte ou en violation du droit. Il ressort du jugement entrepris que certains praticiens consultés ont relevé des traces d'utilisation des mains normalement marquées, prédominant légèrement à droite (examen du 19 mars 1997 du docteur O._, médecin d'arrondissement de la CNA), et l'absence de troubles trophiques ou de fonte musculaire (rapport du 15 mai 1998 du docteur B._, médecin-chef du Service Y._ de l'Hôpital X._). La juridiction cantonale a relevé que dans le rapport du 5 septembre 2005, le docteur S._ s'était déclaré surpris de constater que malgré les douleurs décrites par le recourant et leur durée, aucune atrophie musculaire ne s'était développée au niveau du bras et de l'avant-bras atteints et qu'il gardait ainsi un volume musculaire de son avant-bras droit supérieur à la norme. L'autorité précédente a relevé également que les remarques du docteur S._ étaient corroborées par celles du docteur O._ qui tout en mentionnant une force dans le membre supérieur droit très réduite, avait relevé dans son examen du 19 mars 1997 que le coude et le poignet droits avaient des amplitudes fonctionnelles tout à fait normales. A la différence du docteur L._ qui n'a pas expliqué dans son rapport du 21 avril 2004 et le certificat médical du 7 avril 2006 pour quelle raison il ne retenait aucune capacité de travail, si ce n'est en se référant aux plaintes du patient relatives à des douleurs, le docteur S._ avait clairement précisé, pour chaque pathologie retenue, les limitations fonctionnelles y relatives, que la juridiction cantonale a qualifiées de plutôt légères. Cela n'est pas discuté par le recourant, qui ne démontre pas que l'appréciation des preuves à laquelle l'autorité précédente a procédé soit arbitraire dans son résultat (ATF 135 V 2 consid. 1.3 p. 4 s.). Le recours est également mal fondé de ce chef.
3.4 Le jugement entrepris conclut à une invalidité de 25 %, taux ne donnant pas droit à une rente de l'assurance-invalidité, et est ainsi conforme au droit fédéral (supra, consid. 2.2). Le recours est mal fondé.
4. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 6 octobre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner