Faits: A. S._ a fait une chute d'un échafaudage d'une hauteur de deux mètres en février 2001. Le docteur F._, du Centre médico-chirurgical X._, qui l'a examiné après son accident, a diagnostiqué une contusion de l'épaule droite et de la colonne cervicale. Le cas a été pris en charge par la CNA, qui a servi ses prestations jusqu'au 1er décembre 2001 (décision du 30 novembre 2001 et du 22 mars 2002 sur opposition). L'assurance-maladie a payé des indemnités journalières du 2 décembre 2001 au 31 octobre 2002. Le 27 mai 2002, S._ a déposé une demande de prestations AI pour adultes en vue de l'octroi d'une orientation professionnelle, d'un reclassement et d'une rente. Dans un rapport médical du 4 juillet 2003, le docteur F._, médecin-traitant, a posé les diagnostics principaux suivants: cervico-brachialgies droites chroniques, status après contusion de l'épaule droite, atteinte dégénérative des deux coiffes des rotateurs, prédominant à droite, et arthropathie acromio-claviculaire dégénérative bilatérale débutante, lombalgies chroniques et syndrome dépressif croissant. De l'avis du médecin traitant, l'assuré ne voulait pas reconnaître un état dépressif et anxieux débutant mais progressif. Le rapport du médecin traitant était fondé sur les avis du docteur A._ du Service d'orthopédie et de traumatologie de l'appareil moteur de l'hôpital V._, des docteurs O._, I._, G._ et U._ du Service de rhumatologie, médecine physique et réhabilitation de l'Hôpital Y._, des psychiatres D._ et B._, de l'hôpital Z._, section des troubles anxieux et de l'humeur (STAH), des docteurs C._, rhumatologue, N._, médecin-conseil de la caisse-maladie Philos, R._ et M._, psychiatres de la Clinique W._. S._ a effectué un stage du 15 mars au 8 mai 2004 au COPAI où il a été examiné par le docteur E._. Puis, il a été expertisé par la doctoresse L._, psychiatre au SMR. Par projet de décision du 17 août 2006, confirmé par décision du 9 novembre 2006, l'OAI a refusé l'octroi d'une rente, estimant le taux d'invalidité de S._ à 18,78 %. B. S._ a déféré la décision de l'OAI au Tribunal des assurances du canton de Vaud, en concluant à l'annulation de la décision et à l'octroi d'une rente, subsidiairement au renvoi du dossier pour complément d'instruction, sous suite de frais et dépens. Il a produit à l'appui de son recours un avis médical du docteur U._ du 26 août (recte: octobre) 2006, qui conteste l'existence d'un éventuel trouble somatoforme douloureux, car la douleur s'explique par des éléments objectifs, en particulier une incompétence fonctionnelle du caisson abdominal et une probable micro-instabilité segmentaire lombaire basse. S._ a renouvelé sa demande d'expertise rhumato-psychiatrique. Dans sa prise de position sur le recours, l'OAI n'a pas retenu de conclusions formelles mais a admis, suite aux éléments nouveaux résultant de l'avis du docteur U._, qu'une expertise rhumato-psychiatrique était nécessaire pour pouvoir statuer en toute connaissance de cause sur le recours de l'assuré. La juridiction cantonale a rejeté le recours, estimant qu'une nouvelle expertise médicale n'était pas nécessaire et que, pour le surplus, il fallait reconnaître une pleine capacité de travail à S._, car le trouble somatoforme douloureux, pour le cas où il existerait, n'était pas invalidant faute de comorbidité psychiatrique. C. S._ interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation et au renvoi du dossier à l'OAI pour complément d'instruction. Il conteste essentiellement le fait que les juges cantonaux aient pu rendre leur jugement sans faire procéder à une expertise rhumato-psychiatrique. S._ a en outre demandé à être mis au bénéfice de l'assistance judiciaire pour l'avance de frais et les dépens de son mandataire. L'OAI a renoncé à se déterminer et l'Office fédéral des assurances sociales n'a pas pris position.