Faits:
A. M._ a été engagé dès le 1er juillet 1982 en qualité de monteur en paratonnerre par l'entreprise X._ SA, au service de laquelle il a occupé la fonction de chef d'équipe. Souffrant de troubles à l'épaule droite, il a été en arrêt de travail dès le 22 mars 2004. Son employeur a résilié les rapports de travail pour le 31 décembre 2004.
Le 2 novembre 2004, M._ a présenté une demande de prestations de l'assurance-invalidité, en requérant l'octroi d'un reclassement dans une nouvelle profession et d'une rente d'invalidité. Les médecins traitants de l'assuré ont déposé leurs conclusions, le docteur B._ (spécialiste FMH en médecine générale) dans un rapport du 21 décembre 2004 et le docteur N._ (chef de clinique de l'Hôpital Y._) dans un rapport du 9 mars 2005, dont il résultait que le patient avait développé une capsulite rétractile avec une limitation douloureuse de la mobilité de l'épaule. Du 27 février au 24 mars 2006, M._ a effectué un stage d'observation professionnelle au COPAI de Z._, au terme duquel le groupe d'observation a mesuré des rendements de l'ordre de 40 % (rapport du Centre W._ du 5 avril 2006). Dans un avis du 25 avril 2006, la doctoresse U._, médecin du SMR, a relevé que le docteur A._, médecin-conseil du COPAI, avait noté dans son rapport du 28 mars 2006 l'absence d'hypotrophie musculaire, la présence de légères traces de travail à la main droite et une bonne force de celle-ci, sans constater de signes de non-utilisation du membre supérieur droit. Cela l'amenait à considérer que l'assuré n'avait pas mis en valeur toutes ses ressources au cours du stage, raison pour laquelle elle maintenait son appréciation antérieure du 7 juillet 2005, selon laquelle M._ présentait une capacité de travail exigible de 100 % dans une activité adaptée aux limitations fonctionnelles (pas d'élévation des bras, pas de soulèvement de charges supérieures à 5 kg).
Dès le 14 août 2006, M._ a bénéficié d'une mesure de reclassement sous la forme d'un stage de préparation à une activité auxiliaire (rapport de l'atelier V._ du CIP de T._, du 4 décembre 2006), mesure qui a été prolongée jusqu'au 18 février 2007 par un stage d'observation et a comporté deux stages en entreprises, durant lesquels le service S._ a admis des rendements de l'ordre de 40 % (rapport du 23 février 2007). Dans une lettre du 9 août 2007, la doctoresse O._, spécialiste en médecine interne-rhumatologie, a avisé l'assurance-invalidité qu'elle était le médecin traitant de l'assuré depuis janvier 2006, en relevant que sa capacité de gain était fortement réduite. Depuis mars 2007, M._ a consulté les médecins du Département de psychiatrie de la Clinique R._ (certificat du 4 juillet 2007). Sur proposition de la doctoresse U._ (avis du 23 juillet 2007), l'Office de l'assurance-invalidité pour le canton de Vaud a confié une expertise psychiatrique au Centre d'expertise médicale (CEMed). Celle-ci a été effectuée par le docteur L._, spécialiste FMH en psychiatrie-psychothérapie, lequel a examiné l'assuré le 20 décembre 2007. Dans un rapport du 5 mars 2008, l'expert a posé les diagnostics sans répercussion sur la capacité de travail de dysthymie ([CIM-10] F34.1) et de majoration des plaintes physiques pour des raisons psychologiques (F68.0). En l'absence de maladie psychique invalidante, il concluait que sur le plan psychique et mental, la capacité résiduelle de travail était entière, sans restriction, ni limitation en vue d'une réadaptation professionnelle. Dans un avis du 17 mars 2008, le docteur C._, médecin du SMR, a confirmé le bien-fondé des conclusions de la doctoresse U._ dans les avis précédents.
Dans un préavis du 1er septembre 2008, l'office AI a avisé M._ qu'il présentait une invalidité de 30 % (compte tenu d'un revenu sans invalidité de 74'655 fr. 50 et d'un revenu d'invalide de 52'181 fr. 05 [après abattement de 15 %]), taux ne donnant aucun droit à une rente. Le 15 septembre 2008, l'assuré a fait part à l'office AI de ses observations. Il a produit une lettre du 3 octobre 2008 des docteurs D._ et E._, respectivement chef de clinique et médecin assistant de la Clinique du Département de psychiatrie de R._, et une lettre du professeur F._, chef du Service d'orthopédie et de traumatologie de R._, du 7 octobre 2008 accompagnée de deux rapports des 21 août 2008 et 1er décembre 2006. Dans un avis du 8 décembre 2008, les docteurs H._ et I._, médecins du SMR, ont conclu que ces documents n'apportaient aucun élément nouveau susceptible de changer leur appréciation en ce qui concerne la capacité entière de travail dans une activité adaptée aux limitations fonctionnelles. Par décision du 19 janvier 2009, l'office AI, rejetant la demande, a refusé d'allouer à M._ la prestation requise.
B. Le 17 février 2009, M._ a formé recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui était allouée dès le 2 novembre 2003, à titre subsidiaire à son annulation, la cause étant renvoyée à l'office AI pour nouvelle instruction et décision dans le sens des considérants. Il a produit une lettre du 1er avril 2009 des docteurs D._ et E._ prenant position par rapport à l'expertise du CEMed du 5 mars 2008, sur laquelle les docteurs H._ et I._ se sont exprimés dans un avis du 4 mai 2009, et une lettre de la doctoresse O._ du 7 mai 2009. A la suite d'une hospitalisation du 22 juin au 10 juillet 2009, il a produit une lettre de sortie du 27 juillet 2009 de la doctoresse J._, médecin associée de l'Unité du Rachis et réhabilitation de R._, à propos de laquelle les docteurs H._ et I._ ont relevé dans un avis du 27 août 2009 qu'elle n'apportait pas d'élément médical nouveau en faveur d'une modification, voire d'une aggravation de l'état de santé de l'assuré. Par arrêt du 21 juin 2010, la juridiction cantonale a rejeté le recours.
C. M._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui est allouée dès le 2 novembre 2003, à titre subsidiaire à son annulation, la cause étant renvoyée à l'office AI pour nouvelle instruction et décision dans le sens des considérants. Il sollicite l'octroi de l'assistance judiciaire gratuite.
Considérant en droit:
1. Le recours interjeté céans est formé pour violation du droit fédéral (art. 95 let. a LTF) - incluant les droits fondamentaux - et est dirigé contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (art. 82 let. a LTF), sans qu'une des exceptions prévues à l'art. 83 LTF soit réalisée. La voie du recours en matière de droit public est ainsi ouverte. Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (art. 113 LTF).
2. 2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement en cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire (cf. le message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 4135), et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 254 s.).
2.2 Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). Le recourant produit un rapport de la doctoresse J._ du 15 avril 2009, adressé à la doctoresse K._. Au regard de l'art. 99 al. 1 LTF, ce moyen n'est pas admissible, le jugement entrepris ne justifiant pas pour la première fois de le soulever et le recourant ne montrant pas en quoi les conditions d'une exception à l'interdiction des faits ou moyens de preuve nouveaux selon cette disposition légale sont remplies (ATF 136 III 261 consid. 4.1 p. 266, 133 III 393 consid. 3 p. 395).
3. 3.1 Le litige porte sur le droit du recourant à une rente d'invalidité, singulièrement sur l'atteinte à la santé et son incidence sur la capacité de travail de l'assuré et le taux d'invalidité fondant le droit à la prestation.
3.2 Le jugement entrepris expose correctement les dispositions légales relatives aux notions d'incapacité de gain (art. 7 al. 1 et 2 LPGA depuis le 1er janvier 2008), d'invalidité (art. 4 al. 1 LAI et 8 al. 1 LPGA) et son évaluation chez les assurés actifs (art. 28a al. 1 LAI [en vigueur depuis le 1er janvier 2008] en corrélation avec l'art. 16 LPGA), et les règles et principes jurisprudentiels sur la valeur probante d'un rapport médical (ATF 125 V 351 consid. 3a p. 352), en cas de divergence d'opinion entre experts et médecins traitants (ATF 124 I 170 consid. 4 p. 175; arrêt I 514/06 du 25 mai 2007 consid. 2.2.1, in SVR 2008 IV Nr. 15 p. 43). On peut ainsi y renvoyer.
4. La juridiction cantonale a relevé que l'ampleur des douleurs dont se plaignait l'assuré depuis l'opération subie au mois de mars 2004 ensuite d'une rupture de la coiffe des rotateurs de l'épaule droite, ainsi que leurs conséquences, ne trouvaient pas de fondement médical objectif sur le plan somatique. Se ralliant à l'avis des médecins du SMR, elle a retenu que le recourant ne souffrait d'aucune affection physique invalidante et qu'il disposait d'une pleine capacité de travail dans une activité adaptée monomanuelle. Elle a nié, par ailleurs, qu'il soit atteint d'une affection psychique invalidante.
4.1 L'autorité précédente, relevant que la doctoresse O._ avait uniquement décrit dans ses lettres des 7 mai 2009 et 9 août 2007 la situation du patient telle qu'il la vivait, a considéré que ces documents n'étaient pas suffisants pour fonder la capacité de rendement fortement réduite dont faisait état le recourant et qu'il en allait de même du rapport du médecin-conseil du COPAI du 28 mars 2006, dont les informations relatives aux rendements de l'ordre de 40 % avaient été recueillies lors du stage d'observation et ne sauraient en principe supplanter l'avis dûment motivé d'un médecin. Le recourant reprend son argumentation de première instance selon laquelle son rendement est de l'ordre de 30 à 35 % dans une activité adaptée aux limitations fonctionnelles et ne discute même pas la manière dont le jugement entrepris est motivé, de sorte que son mémoire ne satisfait pas sur ce point aux exigences de motivation de l'art. 42 al. 2 LTF.
4.2 Du jugement entrepris, il résulte que la doctoresse J._, dans la lettre de sortie du 27 juillet 2009, a relevé que suite à la déchirure tendineuse et aux deux opérations des 22 mars et 20 décembre 2004, le recourant avait développé un syndrome douloureux régional complexe type I de l'épaule droite ou, en d'autres termes, une capsulite rétractile l'empêchant d'avoir une mobilité complète de l'épaule droite. Dans une activité manuelle, seul créneau professionnel pour le patient qui n'avait pas de formation de base et était droitier, la capacité de travail était nulle aux yeux de cette spécialiste. Il ressort également du jugement entrepris que les médecins du SMR, dans leur avis du 27 août 2009, ont relevé que l'examen clinique était superposable à celui déjà décrit par le professeur F._ et que dans son appréciation de la capacité de travail résiduelle, la doctoresse J._ faisait intervenir des facteurs extra-médicaux, tel le niveau de formation. Sur le vu de la lettre de sortie de la doctoresse J._ du 27 juillet 2009, des rapports du professeur F._ des 21 août 2008 et 1er décembre 2006 (ainsi que sa lettre du 7 octobre 2008) et des avis des médecins du SMR relevant la discordance entre les plaintes de l'assuré et les constatations objectives, les affirmations du recourant reprochant à l'autorité précédente de n'avoir pas pris en compte les conclusions de la doctoresse J._ relatives à sa capacité de travail sur le plan physique ne permettent pas de considérer que la juridiction cantonale, en retenant qu'il ne souffrait d'aucune affection physique invalidante et disposait d'une pleine capacité de travail dans une activité adaptée monomanuelle, ait établi les faits de façon manifestement inexacte ou en violation du droit (supra, consid. 2.1). Par activité monomanuelle (cf. l'avis des médecins du SMR du 27 août 2009), il faut entendre une activité adaptée aux limitations fonctionnelles, telles que décrites dans leur rapport d'examen du 7 juillet 2005. Du reste, il ressort du jugement entrepris que le recourant n'est pas dans la situation d'une personne privée de l'usage d'un bras. En effet, dans son rapport du 28 mars 2006, le docteur A._ a noté l'absence d'hypotrophie musculaire, la présence de légères traces de travail à la main droite et une bonne force de celle-ci, sans constater de signes de non-utilisation du membre supérieur droit. Le recours est mal fondé de ce chef.
4.3 Les griefs du recourant mettant en doute la valeur probante de l'expertise psychiatrique du 5 mars 2008 sous prétexte que le CEMed collabore avec l'assurance-invalidité et n'a pas l'objectivité nécessaire pour exécuter des expertises sont dénués de pertinence. Le Centre d'observation médicale de l'AI (COMAI), lorsqu'il effectue une expertise, a une position d'expert indépendant et impartial (ATF 132 V 376 consid. 6.2 p. 382, 123 V 175). Il en va donc ainsi du CEMed, dans le cadre duquel le docteur L._ a effectué l'expertise mentionnée ci-dessus en tant qu'expert indépendant et impartial.
4.4 La juridiction cantonale, se fondant sur une appréciation complète, rigoureuse et objective des pièces médicales en rapport avec leur contenu (arrêt 8C_957/2008 du 1er mai 2009 consid. 2 in fine et les références, in SVR 2009 UV n° 49 p. 173), a donné la préférence à l'évaluation de la capacité de travail sur le plan psychique effectuée par le CEMed par rapport à celle effectuée par les médecins traitants. Il n'est pas démontré que son appréciation des preuves soit arbitraire dans son résultat (ATF 135 V 2 consid. 1.3 p. 4 s.). L'expertise psychiatrique du docteur L._ du 5 mars 2008, dont l'autorité précédente a admis avec raison qu'elle avait pleine valeur probante, suffisait pour statuer en pleine connaissance de cause, de sorte que la juridiction cantonale pouvait se dispenser d'administrer d'autres preuves (appréciation anticipée des preuves; ATF 131 I 153 consid. 3 p. 157, 125 I 127 consid. 6c/cc p. 135). Même si, dans leur lettre du 1er avril 2009, les docteurs D._ et E._ ont évoqué une dépression sévère qui rend compte d'une incapacité de travail à 100 %, il n'en demeure pas moins qu'il s'agit là d'une appréciation différente d'une situation qui sur le plan psychique est restée la même, ainsi que l'ont relevé les médecins du SMR dans leur avis du 4 mai 2009 selon la latitude dont ils disposent pour évaluer la gravité d'un trouble psychique (arrêt 9C_746/2010 du 28 janvier 2011, consid. 3.1 et les arrêts cités). Il résulte du jugement entrepris que les médecins du Service de psychiatrie de liaison de R._ (lettre de sortie du 27 juillet 2009), les docteurs D._ et E._ dans leurs lettres des 1er avril 2009 et 3 octobre 2008, les docteurs D._ et P._ dans leur certificat du 4 juillet 2007 et la doctoresse O._ dans ses lettres des 7 mai 2009 et 9 août 2007 n'ont fait état d'aucun élément objectivement vérifiable qui aurait été ignoré dans le cadre de l'expertise du docteur L._ du 5 mars 2008 et qui soit suffisamment pertinent pour remettre en cause les conclusions de l'expert (supra, consid. 3.2). Le recours est mal fondé de ce chef.
4.5 S'agissant de l'évaluation de l'invalidité, le revenu sans invalidité de 74'655 fr. 50 et le revenu d'invalide de 52'181 fr. 05 par année sur lesquels s'est fondé l'office AI sont repris dans le jugement entrepris. La juridiction cantonale a considéré que l'abattement de 15 % auquel avait procédé l'intimé sur le salaire statistique dans le calcul du revenu d'invalide était adéquat, l'office AI n'ayant méconnu aucun des éléments à prendre en compte dans la déduction (ATF 126 V 75 consid. 5b/aa-cc p. 79; voir aussi ATF 135 V 297 consid. 5.2 et 6.2 p. 301 s., 134 V 322 consid. 5.2 et 6.2 p. 327 s.). L'étendue de l'abattement (justifié dans un cas concret) constitue une question typique relevant du pouvoir d'appréciation. Il n'est pas démontré que l'autorité précédente ait exercé son pouvoir d'appréciation de manière contraire au droit, par un excès positif ou négatif de son pouvoir d'appréciation ou un abus de celui-ci (ATF 132 V 393 consid. 3.3 p. 399). Il résulte de la comparaison des revenus une invalidité de 30 %, taux ne conférant aucun droit à une rente (art. 28 al. 2 LAI, teneur en vigueur depuis le 1er janvier 2008). Le recours est dès lors mal fondé.
5. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF). Sa demande d'assistance judiciaire a été rejetée par ordonnance du 11 octobre 2010.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 15 mars 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner