Faits: A. A.a Par décision du 8 décembre 2000, l'Office de l'assurance-invalidité pour le canton de Vaud, rejetant la demande de prestations de l'assurance-invalidité présentée par H._ le 13 mai 1997, a refusé de lui allouer une rente d'invalidité, au motif qu'il résultait de la comparaison des revenus une invalidité de 18.32 %, taux ne conférant pas droit à une rente. Par jugement du 20 juin 2002, le Tribunal des assurances du canton de Vaud a admis très partiellement le recours formé par H._ contre cette décision qu'il a réformée dans le sens des considérants, celui-ci ayant droit à une aide au placement de l'assurance-invalidité. Pour le surplus, il a confirmé la décision attaquée, au motif que H._ présentait une invalidité de 31.15 %, taux qui ne donnait pas droit à une rente d'invalidité. Par arrêt du 17 novembre 2003, le Tribunal fédéral des assurances a annulé ce jugement et la décision administrative de refus de rente, la cause étant renvoyée à l'office AI pour instruction complémentaire au sens des considérants et nouvelle décision. A.b Dans un rapport du 21 avril 2004, le docteur L._, spécialiste FMH en médecine générale et médecin traitant de l'assuré, a posé les diagnostics ayant des répercussions sur la capacité de travail d'ankylose hyperalgique de l'articulation scapulo-humérale droite et de status post probable Sudeck du membre supérieur droit. Il indiquait que la capacité de travail du patient était nulle en tant que manoeuvre du bâtiment et qu'il ne voyait pas quelle activité pourrait être exigible, vu que celui-ci présentait des douleurs décrites comme permanentes de l'épaule droite irradiant dans le coude et que tout mouvement d'adduction, abduction ou rotation de l'humérus était décrit comme extrêmement douloureux. Sur proposition de la doctoresse M._, médecin SMR (avis médical du 7 juin 2005), les docteurs S._ (spécialiste FMH en chirurgie orthopédique) et V._ (spécialiste FMH en psychiatrie), médecins SMR, ont procédé le 11 août 2005 à un examen orthopédique et psychiatrique. Dans un rapport du 5 septembre 2005, ils ont posé les diagnostics avec répercussion sur la capacité de travail de status après fracture diaphysaire du cubitus droit traitée par ostéosynthèse par plaque - trois mois après pour déplacement et non consolidation de la fracture (T92.9), de douleurs du membre supérieur droit d'origine indéterminée et de tendinopathie du sus-épineux de la coiffe des rotateurs de l'épaule droite. Relevant que l'assuré n'avait jamais eu d'incapacité de travail d'ordre psychiatrique et qu'il ne souffrait pas de maladie psychiatrique invalidante, ils concluaient à une capacité de travail exigible nulle dans l'activité habituelle depuis le 16 janvier 1996 et de 100 % dans une activité adaptée depuis le 1er novembre 1996, soit six mois après l'ostéosynthèse du cubitus droit. La doctoresse M._ a fait siennes les conclusions de ces médecins (avis médical du 27 septembre 2005). Par décision du 17 février 2006, l'Office de l'assurance-invalidité pour le canton de Vaud a refusé d'allouer à H._ une rente d'invalidité, au motif qu'il présentait une invalidité de 8.45 %, taux ne donnant pas droit à une rente. Le 27 mars 2006, celui-ci a formé opposition contre cette décision. Il a produit un certificat médical du docteur L._ du 7 avril 2006. Par décision du 14 novembre 2007, l'office AI a rejeté l'opposition. B. Le 14 décembre 2007, H._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud), en concluant, sous suite de dépens, à l'octroi d'une demi-rente d'invalidité, à titre subsidiaire à l'annulation de la décision entreprise, la cause étant renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud pour instruction complémentaire et nouvelle décision dans le sens des considérants. Par arrêt du 28 octobre 2010, la juridiction cantonale a rejeté le recours. C. H._ interjette un recours contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une "demi-rente entière d'invalidité" lui est octroyée et à ce qu'un complément d'analyse pluridisciplinaire autant sur le plan physique que psychique soit entamé. A titre subsidiaire, il demande que la décision administrative de refus de rente du 17 février 2006 soit annulée, une nouvelle décision devant être prise par l'Office de l'assurance-invalidité pour le canton de Vaud dans le sens des considérants. Par lettre du 14 janvier 2011, il a produit un certificat médical du docteur L._ du 17 décembre 2010.