Faits:
A. S._ a fait une chute d'un échafaudage d'une hauteur de deux mètres en février 2001. Le docteur F._, du Centre médico-chirurgical X._, qui l'a examiné après son accident, a diagnostiqué une contusion de l'épaule droite et de la colonne cervicale.
Le cas a été pris en charge par la CNA, qui a servi ses prestations jusqu'au 1er décembre 2001 (décision du 30 novembre 2001 et du 22 mars 2002 sur opposition). L'assurance-maladie a payé des indemnités journalières du 2 décembre 2001 au 31 octobre 2002.
Le 27 mai 2002, S._ a déposé une demande de prestations AI pour adultes en vue de l'octroi d'une orientation professionnelle, d'un reclassement et d'une rente.
Dans un rapport médical du 4 juillet 2003, le docteur F._, médecin-traitant, a posé les diagnostics principaux suivants: cervico-brachialgies droites chroniques, status après contusion de l'épaule droite, atteinte dégénérative des deux coiffes des rotateurs, prédominant à droite, et arthropathie acromio-claviculaire dégénérative bilatérale débutante, lombalgies chroniques et syndrome dépressif croissant. De l'avis du médecin traitant, l'assuré ne voulait pas reconnaître un état dépressif et anxieux débutant mais progressif. Le rapport du médecin traitant était fondé sur les avis du docteur A._ du Service d'orthopédie et de traumatologie de l'appareil moteur de l'hôpital V._, des docteurs O._, I._, G._ et U._ du Service de rhumatologie, médecine physique et réhabilitation de l'Hôpital Y._, des psychiatres D._ et B._, de l'hôpital Z._, section des troubles anxieux et de l'humeur (STAH), des docteurs C._, rhumatologue, N._, médecin-conseil de la caisse-maladie Philos, R._ et M._, psychiatres de la Clinique W._.
S._ a effectué un stage du 15 mars au 8 mai 2004 au COPAI où il a été examiné par le docteur E._. Puis, il a été expertisé par la doctoresse L._, psychiatre au SMR.
Par projet de décision du 17 août 2006, confirmé par décision du 9 novembre 2006, l'OAI a refusé l'octroi d'une rente, estimant le taux d'invalidité de S._ à 18,78 %.
B. S._ a déféré la décision de l'OAI au Tribunal des assurances du canton de Vaud, en concluant à l'annulation de la décision et à l'octroi d'une rente, subsidiairement au renvoi du dossier pour complément d'instruction, sous suite de frais et dépens. Il a produit à l'appui de son recours un avis médical du docteur U._ du 26 août (recte: octobre) 2006, qui conteste l'existence d'un éventuel trouble somatoforme douloureux, car la douleur s'explique par des éléments objectifs, en particulier une incompétence fonctionnelle du caisson abdominal et une probable micro-instabilité segmentaire lombaire basse. S._ a renouvelé sa demande d'expertise rhumato-psychiatrique.
Dans sa prise de position sur le recours, l'OAI n'a pas retenu de conclusions formelles mais a admis, suite aux éléments nouveaux résultant de l'avis du docteur U._, qu'une expertise rhumato-psychiatrique était nécessaire pour pouvoir statuer en toute connaissance de cause sur le recours de l'assuré.
La juridiction cantonale a rejeté le recours, estimant qu'une nouvelle expertise médicale n'était pas nécessaire et que, pour le surplus, il fallait reconnaître une pleine capacité de travail à S._, car le trouble somatoforme douloureux, pour le cas où il existerait, n'était pas invalidant faute de comorbidité psychiatrique.
C. S._ interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation et au renvoi du dossier à l'OAI pour complément d'instruction. Il conteste essentiellement le fait que les juges cantonaux aient pu rendre leur jugement sans faire procéder à une expertise rhumato-psychiatrique.
S._ a en outre demandé à être mis au bénéfice de l'assistance judiciaire pour l'avance de frais et les dépens de son mandataire.
L'OAI a renoncé à se déterminer et l'Office fédéral des assurances sociales n'a pas pris position.
Considérant en droit:
1. Les modifications de la LAI du 6 octobre 2006 (5ème révision de la LAI), entrées en vigueur le 1er janvier 2008 (à l'exception de l'art. 68quater entré en vigueur rétroactivement le 1er juillet 2007), n'ont pas à être prises en considération dans le présent litige, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment de la réalisation de l'état de fait dont les conséquences juridiques font l'objet de la décision (ATF 129 V 1 consid. 1.2 p. 4 et les arrêts cités).
2. Le recours en matière de droit public (art.82 s. LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al.1 LTF) et n'est donc pas limité par les arguments du recourant, ni par la motivation de l'autorité précédente; il peut admettre un recours pour d'autres motifs que ceux allégués et rejeter un recours en adoptant une autre argumentation que celle de l'autorité précédente (ATF 130 III 136 consid. 1.4 p. 140). Il ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Eu égard à l'exigence de motivation prévue à l'art. 42 al. 1 LTF, il n'examine que les griefs invoqués, pour autant que les vices ne soient pas évidents. Il n'est pas tenu de traiter toutes les questions juridiques qui se posent, comme le ferait une autorité de première instance, lorsque celles-ci ne sont pas ou plus abordées devant lui.
Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération. Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
3. 3.1 Le recourant reproche à l'autorité cantonale d'avoir statué sans requérir l'expertise rhumato-psychiatrique qu'il avait demandée et avec laquelle l'intimé était d'accord. Pour le recourant, les juges cantonaux ont constaté de façon manifestement inexacte des faits en ne prenant pas en compte des moyens de preuves pertinents et ont outrepassé leur pouvoir d'appréciation en retenant que l'expertise demandée n'était pas nécessaire.
3.2 L'autorité cantonale a estimé que le recourant avait été examiné par de nombreux médecins, dont les avis satisfont aux exigences posées par la jurisprudence quant à leur force probante. Elle s'est essentiellement fondée sur les rapports du SMR des 11 juillet 2003, 17 mai et 27 octobre 2004. Dans une appréciation anticipée des preuves, elle a estimé que l'expertise demandée n'était pas nécessaire et que le dossier pouvait être jugé en l'état.
Les juges cantonaux ont considéré que les atteintes mises en évidence par le docteur U._, dans son rapport du 26 octobre 2006, ne contredisaient pas les autres avis médicaux et étaient sans effet notable dans un travail léger et sédentaire. Ils ont en outre admis que les difficultés rencontrées par le recourant sur le plan physique étaient dues à son niveau de formation insuffisant, à son «déconditionnement physique global» et à un éloignement prolongé de la vie professionnelle, qui sont des facteurs ne relevant pas de l'AI. Sur le plan psychique, les juges cantonaux ont apparemment nié l'existence d'un trouble somatorme douloureux sur la base de l'avis du docteur U._ et ont, dans une argumentation subsidiaire, constaté que même si un tel trouble existait, il ne serait pas invalidant au regard de la jurisprudence.
4. 4.1 Le droit de faire administrer des preuves, qui découle du droit d'être entendu (ATF 122 II 469 consid. 4a), n'empêche pas l'autorité de mettre un terme à l'instruction si, se fondant sur une appréciation consciencieuse des preuves fournies par les investigations auxquelles elle doit procéder d'office (par exemple DTA 1999 n° 24, p.144), elle est convaincue que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation; une telle manière de procéder ne viole pas le droit d'être entendu (ATF 124 V 94 consid. 4b, 122 V 162 consid. 1d; DTA 1999 n° 18, p. 102 consid. 3).
4.2 Selon le principe de la libre appréciation des preuves, qui s'applique aussi bien en procédure administrative qu'en procédure de recours de droit administratif (pour la procédure administrative: art. 40 PCF en corrélation avec les art. 19 PA et 55 al. 1 LPGA; pour la procédure devant le tribunal cantonal des assurances: art. 61 let. c LPGA), l'administration ou le juge apprécient librement les preuves, sans être liés par des règles formelles, en procédant à une appréciation complète et rigoureuse des preuves. Le juge doit examiner de manière objective tous les documents à disposition, quelle qu'en soit la provenance, puis décider si ceux-ci permettent de porter un jugement valable sur le droit litigieux. A cet égard, l'élément déterminant n'est dans le domaine médical ni l'origine, ni la désignation du moyen de preuve comme rapport ou expertise, mais son contenu. Si les rapports médicaux sont contradictoires, le juge ne peut trancher l'affaire sans apprécier l'ensemble des preuves et sans indiquer les raisons pour lesquelles il se fonde sur une opinion médicale plutôt qu'une autre (ATF 125 V 351 consid. 3a p. 352).
L'appréciation de la situation médicale d'un assuré ne se résume pas à trancher, sur la base de critères formels, la question de savoir quel est parmi les rapports médicaux versés au dossier celui qui remplit au mieux les critères jurisprudentiels en matière de valeur probante, puis à s'en approprier les conclusions. Si la provenance et la qualité formelle sont des facteurs permettant de pondérer la portée de différents rapports médicaux, seul leur contenu matériel permet de porter un jugement valable sur le droit litigieux. Un rapport médical ne saurait être écarté pour la simple et unique raison qu'il émane du médecin traitant. De même, le simple fait qu'un certificat médical est établi à la demande d'une partie et produit pendant la procédure ne justifie pas, en soi, des doutes quant à sa valeur probante. Ainsi, une expertise présentée par une partie peut également valoir comme moyen de preuve. En conséquence, l'administration ou le juge est tenu d'examiner dans le détail chaque pièce médicale versée au dossier et d'indiquer, même succinctement, les raisons qui le conduisent à retenir tel avis médical plutôt que tel autre.
Le Tribunal fédéral examine librement le grief tiré d'une violation du principe de la libre appréciation des preuves et du devoir de la juridiction cantonale en découlant, de procéder à une appréciation complète, rigoureuse et objective des rapports médicaux en relation avec leur contenu (ATF 132 V 393 consid. 4.1 p. 400) et d'indiquer les raisons pour lesquelles elle se fonde sur une opinion médicale plutôt qu'une autre.
5. 5.1 S'agissant d'apprécier l'influence des atteintes somatiques sur la capacité de travail du recourant, il y a lieu de relever que le docteur H._ du SMR a établi son rapport du 11 juillet 2003 en se fondant sur les avis des divers médecins qui avaient déjà examiné ou soigné S._. Dans son appréciation, il a confirmé l'avis du docteur F._, médecin traitant, qui a été le premier à admettre que l'activité de maçon n'était plus exigible mais que l'exercice d'une autre profession, qui ne nécessitait pas de ports de charges ou d'efforts physiques importants, était exigible. Le docteur H._ a précisé que l'activité adaptée ne devait pas nécessiter l'utilisation du bras droit au-dessus de l'horizontale. Dans un rapport du 27 avril 2004 faisant suite à un stage effectué par le recourant du 15 mars au 8 avril 2004, les spécialistes du COPAI ont constaté l'existence d'une boiterie à la marche avec lâchage au niveau des membres inférieurs et le fait que l'assuré n'était pas en mesure de maintenir une position statique debout, car il devait toujours changer le poids du corps d'un pied sur l'autre. Ils ont également constaté des raideurs au niveau de la nuque qui empêchaient le recourant d'effectuer des rotations de la tête ou de pencher celle-ci sur le plan de travail. L'utilisation du membre supérieur droit était limitée pour les mouvements de rotation, en force ou en amplitude. Pour les spécialistes du COPAI, le rendement du recourant, qui s'était montré assidu au travail avec un rythme régulier mais lent, atteignait 50 % sur un plein temps. La diminution de rendement était liée à des difficultés d'adaptation, d'apprentissage, au manque de compréhension et au faible niveau scolaire. Les limitations fonctionnelles imposaient l'exercice d'une activité de conditionnement léger sans usage des membres supérieurs au-dessus de la ceinture avec alternance des positions. Dans son rapport du 19 avril 2004, le docteur E._, médecin-conseil du COPAI, a relevé que S._ présentait une raideur cervicale et ne trouvait pas de position vraiment confortable. L'assuré s'était servi surtout de sa main gauche, ce qui avait diminué son rendement, car il est droitier, et avait influencé la qualité du travail qui était restée médiocre. A cela se sont ajoutées des difficultés de compréhension des consignes et d'adaptation à la nouveauté. Pour le docteur E._, toutes ces limitations ont rendu le recourant peu performant et ont expliqué le faible rendement de l'ordre de 50 %.
Estimant que la cause de la diminution du rendement n'était pas claire, le docteur H._ a fait examiner l'assuré par la doctoresse L._, psychiatre au SMR, qui n'a retenu aucune incapacité de travail sur le plan psychiatrique et qui a ajouté une phobie de la hauteur comme limitation fonctionnelle (rapport du 22 octobre 2004).
Le docteur H._ a retenu, sur la base de l'expertise de la doctoresse L._, que le trouble somatoforme douloureux n'était pas invalidant. Partant, il a considéré que les conclusions de son rapport de 2003 étaient confirmées et que seule la phobie des hauteurs devait être ajoutée aux autres limitations fonctionnelles qui restaient inchangées (avis médical du 27 octobre 2004).
Sur la base de ces éléments, il y a lieu de constater que, dans son appréciation du cas, le docteur H._ a maintenu sans explication une limitation fonctionnelle du membre supérieur droit à l'horizontale, alors que le COPAI l'a fixée à la hauteur de la ceinture. De plus, ce médecin semble avoir retenu que la réduction de rendement de 50 % était due à la lenteur et aux difficultés de compréhension du recourant (rapport du 17 mai 2004), excluant ainsi les atteintes somatiques mentionnées par le docteur E._.
Faisant abstraction de celles-ci alors qu'elles ont été diagnostiquées par tous les médecins orthopédistes ou rhumatologues qui ont consulté l'assuré, les appréciations du docteur H._ ne permettent pas d'évaluer les incidences des atteintes somatiques sur la capacité de travail du recourant.
5.2 En procédure cantonale, S._ a produit un avis médical détaillé du docteur U._, faisant état d'atteintes mécaniques et constatant un syndrome lombo-vertébral actif, avec des contractures para-lombaires bilatérales et une limitation douloureuse en flexion antérieure. Les inclinaisons montraient des raideurs segmentaires bilatérales douloureuses avec dysharmonie de la mobilité et absence de contraction préalable du transverse de l'abdomen en élévation des membres supérieurs et un retard de cette même contraction lors de l'abduction. Le docteur U._ en a déduit une incompétence fonctionnelle du caisson abdominal et a diagnostiqué des lombalgies chroniques non spécifiques persistantes avec probable micro-instabilité segmentaire lombaire basse dans un contexte de surcharge mécanique douloureuse cervico-brachiale et d'arthrose acromio-claviculaire bilatérale, le tout accompagné d'un déconditionnement physique global. Ce praticien a mis en doute le fait qu'on puisse retenir de façon objective une capacité de travail dans une activité adaptée avant d'avoir corrigé les déficiences constatées car celles-ci entretenaient une surcharge musculaire et donc aussi la symptomatologie douloureuse. En présence d'éléments objectifs expliquant la douleur, le docteur U._ en est arrivé à contester l'existence d'un éventuel trouble somatoforme douloureux (rapport du 26 août [recte: octobre] 2006).
Appelé à se déterminer sur cet avis médical dans le cadre de la réponse au recours, l'intimé a admis être en présence d'éléments nouveaux et s'est déclaré d'accord avec la mise sur pied de l'expertise rhumato-psychiatrique demandée par le recourant.
5.3 Cette appréciation médicale dont l'intimé admet qu'elle constitue un élément nouveau, ajoutée au fait que le docteur H._ ne réponde pas de façon convaincante aux questions que le juge doit se poser par rapport aux limitations fonctionnelles entraînées par les atteintes somatiques, amène à considérer que l'autorité cantonale, en refusant l'expertise demandée, a outrepassé son pouvoir d'appréciation et violé le droit d'être entendu du recourant.
6. Le recours est admis et le dossier renvoyé à l'intimé pour qu'il fasse faire une expertise rhumato-psychiatrique, puis statue à nouveau sur le droit du recourant à une rente de l'assurance-invalidité.
7. Compte tenu de l'issue du litige, les frais judiciaires doivent être supportés par l'intimé qui succombe (art. 66 al.1 LTF). Le recourant, qui obtient gain de cause, a droit à une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF). Sa demande d'assistance judiciaire est dès lors sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud, du 30 août 2007, et la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 9 novembre 2006 sont annulés, la cause étant renvoyée à cet office pour complément d'instruction et nouvelle décision conformément aux considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'500 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour la dernière instance.
4. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance au regard de l'issue du procès en dernière instance.
5. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 25 juin 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner