Faits:
A. M._, né en 1960, était placé en qualité de machiniste par l'entreprise X._. Interpelé le 30 août 2002 par les agents de sécurité d'un grand magasin, il se serait tapé la tête contre les murs jusqu'à en perdre connaissance. Suite à cet incident, M._ a été hospitalisé au Service de psychiatrie adulte et psychogériatrie Y._ du 31 août au 6 septembre 2002. Les docteurs N._ et M._, qui l'ont soigné durant son séjour, ont diagnostiqué une réaction aiguë à un facteur de stress ([CIM-10] F 43.0) et ont attesté une incapacité de travail à 100% jusqu'au 15 septembre 2002 (rapport du 1er octobre 2002).
Depuis l'incident du 30 août 2002, M._ n'a pas repris le travail. Il a été pris en charge par les docteurs D._ et A._ de l'Unité psychiatrique ambulatoire du secteur psychiatrique Z._, qui, dans leurs rapports des 24 février et 22 juillet 2003, ont diagnostiqué un trouble dépressif récurrent sévère sans symptôme psychotique ([CIM-10] F 32.2), une anxiété généralisée ([CIM-10] F 41.1) et un trouble mixte de la personnalité paranoïaque et anxieuse ([CIM-10] F 61.0). Ils ont posé un pronostic extrêmement sombre sur la capacité de travail, estimant qu'une invalidité à long terme était vraisemblable.
Le 1er septembre 2003, M._ a déposé une demande de prestations de l'assurance-invalidité en vue d'un reclassement professionnel, en raison de fortes migraines, de nervosité excessive et de dépression.
Dans un rapport du 18 septembre 2003, les docteurs D._ et A._ ont confirmé leur diagnostic antérieur. Le docteur R._, médecin généraliste et médecin traitant, a, pour sa part, diagnostiqué un état anxio-dépressif après décompensation hystérique avec état de désorientation et amnésie circonstancielle depuis le 31 août 2002, des lombalgies chroniques depuis 1996 et des scapulalgies gauches sur périarthrite scapulo-humérale (PSH) depuis 1996 également. Sur le plan physique, M._ pourrait travailler à 100% dans une activité légère, «pour autant que son état psychique le permette», par contre une activité de chantier n'est plus exigible (rapport du 29 septembre 2003).
La doctoresse V._, psychiatre au SMR, a examiné M._ le 26 mai 2005. Dans son rapport du 6 juin 2005, elle n'a retenu aucune atteinte psychiatrique ayant une répercussion sur la capacité de travail mais a diagnostiqué, sans répercussion sur la capacité de travail, une dysthymie ([CIM-10] F 34.1) et des difficultés dans les rapports avec le conjoint (Z 63.0). Sur le plan physique, M._ a été examiné le 29 juillet 2005 par le docteur P._, rhumatologue, qui n'a diagnostiqué aucun trouble rhumatologique ayant une répercussion sur la capacité de travail. Il a constaté la présence de céphalées de tension, de lombalgies communes, non irritatives, non déficitaires, de troubles statiques du rachis cervicodorsal et un status post-excision d'un kyste sinusal maxillaire, toutes affections sans répercussion sur la capacité de travail. Le docteur P._ a reconnu à M._ une pleine capacité de travail dans l'activité de machiniste, à condition d'éviter l'exposition à des bruits intenses sans protection acoustique en raison des céphalées (rapport du 10 octobre 2005).
Par décision du 11 novembre 2005, l'office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a rejeté la demande de prestations de M._, estimant sa capacité de travail entière dans son activité habituelle et dans toute autre activité adaptée.
Le 12 juillet 2007, l'office AI a rejeté l'opposition de M._.
B. M._ a déféré cette décision devant le Tribunal des assurances du canton de Vaud. Par jugement du 9 octobre 2008, la juridiction cantonale - aujourd'hui: la Cour des assurances sociales du Tribunal cantonal vaudois - a rejeté le recours.
C. M._ interjette un recours en matière de droit public contre ce jugement, dont il demande à titre principal qu'il soit réformé en ce sens qu'une rente entière d'invalidité lui est accordée dès le 31 août 2002, concluant à titre subsidiaire au renvoi de l'affaire à l'autorité cantonale pour instruction complémentaire sous la forme d'une expertise. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente ; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140).
1.2 Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF seraient réalisées. A ce défaut, un état de fait divergeant de celui de la décision attaquée ne peut être pris en compte (cf. arrêt 6B_2/2007 du 14 mars 2007, consid. 3). La faculté que l'art. 105 al. 2 LTF confère au Tribunal fédéral de rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF ne dispense pas le recourant de son obligation d'allégation et de motivation. Il n'incombe pas au Tribunal fédéral de rechercher lui-même dans le dossier si ce dernier pourrait éventuellement contenir des indices d'une inexactitude de l'état de fait de l'autorité précédente. L'art. 105 al. 2 LTF trouve application lorsque le Tribunal fédéral, en examinant les griefs soulevés, constate une inexactitude manifeste dans l'état de fait de l'autorité précédente ou lorsque celle-ci saute d'emblée aux yeux (ATF 133 IV 286 consid. 6.2 p. 288; 133 II 249 consid. 1.4.3 p. 255).
2. Invoquant une violation de son droit d'être entendu (art. 29 al. 2 Cst.), le recourant reproche aux premiers juges de ne pas avoir ordonné la mise en ?uvre d'une expertise judiciaire afin de départager les avis médicaux contradictoires se trouvant au dossier.
3. Le Tribunal fédéral examine librement le grief tiré d'une violation du droit d'être entendu, lequel découle de l'art. 29 al. 2 Cst. et, pour la procédure de recours devant les tribunaux cantonaux en matière d'assurances sociales, des règles énoncées à l'art. 61 LPGA. En particulier, selon l'art. 61 let. c LPGA, le tribunal établit avec la collaboration des parties les faits déterminants pour la solution du litige, administre les preuves nécessaires et les apprécie librement. Cette disposition prévoit ainsi le principe de la libre appréciation des preuves (ATF 125 V 351 consid. 3a p. 352) et le devoir de la juridiction cantonale de procéder à une appréciation complète, rigoureuse et objective des preuves (ATF 132 V 393 consid. 4.1 p. 400). La violation du droit d'être entendu (sur cette notion en corrélation avec l'administration des preuves, cf. ATF 130 II 425 consid. 2.1 p. 429, 119 Ib 492 consid. 5b/bb p. 505 s.) dans le sens invoqué par l'assuré est une question qui n'a pas de portée propre par rapport au grief tiré d'une mauvaise appréciation des preuves.
4. Le litige porte sur le point de savoir si le recourant a droit à une rente entière d'invalidité dès le 31 août 2002, singulièrement a trait aux incidences sur sa capacité de travail et de gain des atteintes à la santé qu'il présente.
4.1 Les principes relatifs au pouvoir d'examen développés dans l'ATF 132 V 393 consid. 3 p. 397 s. (en relation avec l'art. 132 OJ dans sa version en vigueur du 1er juillet au 31 décembre 2006) continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application qu'elle fait du droit (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé (diagnostic, etc.), la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398).
4.2 Le jugement entrepris expose correctement les règles légales et jurisprudentielles sur le droit applicable, les conditions d'octroi des rentes, la valeur probante des rapports médicaux et la manière d'apprécier les moyens de preuve. On peut ainsi y renvoyer.
On ajoutera qu'en cas de divergence d'opinion entre experts et médecins traitants, il n'est pas, de manière générale, nécessaire de mettre en oeuvre une nouvelle expertise. La valeur probante des rapports médicaux des uns et des autres doit bien plutôt s'apprécier au regard des critères jurisprudentiels (ATF 125 V 351 consid. 3a p. 352) qui permettent de leur reconnaître pleine valeur probante. A cet égard, il convient de rappeler qu'au vu de la divergence consacrée par la jurisprudence entre un mandat thérapeutique et un mandat d'expertise (ATF 124 I 170 consid. 4 p. 175; arrêt I 514/06 du 25 mai 2007 consid. 2.2.1, in SVR 2008 IV Nr. 15 p. 43), on ne saurait remettre en cause une expertise ordonnée par l'administration ou le juge et procéder à de nouvelles investigations du seul fait qu'un ou plusieurs médecins traitants ont une opinion contradictoire. Il n'en va différemment que si ces médecins traitants font état d'éléments objectivement vérifiables ayant été ignorés dans le cadre de l'expertise et qui sont suffisamment pertinents pour remettre en cause les conclusions de l'expert.
5. 5.1 La juridiction cantonale s'est fondée sur les rapports d'expertise de la doctoresse V._, psychiatre, et du docteur P._, rhumatologue, auxquels elle a reconnu pleine valeur probante. Sur la base de ces expertises, elle a constaté que la capacité de travail du recourant était entière dans toute activité, l'examen psychiatrique n'ayant mis en évidence aucun élément du registre psychotique et évocateur d'un trouble grave de la personnalité, ni aucun signe de syndrome de stress post-traumatique ou de modification de la personnalité après une expérience de catastrophe. Sur le plan somatique, elle a retenu que la capacité de travail était entière dans l'activité habituelle de machiniste d'après les conclusions du docteur P._, l'assuré gardant une bonne mobilité du rachis lombaire, sans syndrome vertébral aigu ni signe d'irritation des nerfs sciatiques.
5.2 Le recourant prétend que c'est à tort que la juridiction cantonale a accordé pleine valeur probante aux expertises des docteurs V._ et P._. Pour lui, elle n'a pas justifié les raisons pour lesquelles elle s'est écartée des rapports des psychiatres de Z._ et du Service de psychiatrie adulte et psychogériatrie Y._, corroborés par les certificats médicaux du docteur R._. Ces rapports ayant également pleine valeur probante, les premiers juges auraient dû confronter point par point les conclusions des rapports figurant au dossier avec les expertises. N'ayant pas effectué cette étude comparative, ils ont procédé à une appréciation lacunaire du cas, qui engendre l'arbitraire. Ce faisant, ils ont abusé de leur pouvoir d'appréciation. Le recourant leur reproche en particulier d'avoir confirmé la décision de l'intimée alors que celle-ci passait sous silence les rapports médicaux de l'UPA du 18 septembre 2003 et du docteur R._ du 29 septembre 2003.
5.3 Compte tenu des critiques du recourant, il y a lieu de déterminer si le tribunal cantonal a violé le droit fédéral en admettant, sur la base du dossier dont il disposait, que les affections qu'il présente ne l'empêchaient pas d'exercer son activité professionnelle habituelle à 100%. Pour résoudre cette question, il s'agit de déterminer si les premiers juges ont établi les faits de manière manifestement inexacte ou en violation du droit (art. 97 al. 1 LTF).
Lorsque l'autorité cantonale juge l'expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité de première instance pouvait, sans arbitraire, se rallier au résultat de l'expertise (arrêt 9C_395/2007 du 15 avril 2008, consid. 4.1).
5.4 Sur le plan somatique, le docteur P._ a tenu compte, dans son anamnèse, des plaintes de l'assuré ainsi que des constatations du médecin traitant dans son rapport du 29 septembre 2003. Il a exposé de façon probante que les céphalées dont souffre le recourant depuis 1990, sont continues mais sans gravité, avec un examen neurologique normal. Celles-ci n'ont pas d'implication majeure sur sa vie de tous les jours. L'assuré reste capable de sortir de son domicile et les promenades le soulagent même lors des crises. Le docteur P._ voit également dans la surconsommation médicamenteuse par automédication un élément qui, sans être la cause des céphalées, en tout cas les entretient. Cette affection impose uniquement d'éviter l'exposition à des bruits intenses et continus sans protection acoustique. En ce qui concerne les lombalgies chroniques et les scapulalgies gauches sur PSH, le médecin traitant n'a donné aucune précision sur les éléments ayant conduit à ce diagnostic. Il ne leur a toutefois accordé qu'une portée limitée puisqu'il a admis une capacité résiduelle de travail à 100% dans une activité adaptée. Pour le docteur P._, les lombalgies n'entraînent pas d'impotence fractionnelle particulière, l'assuré ayant gardé une excellente mobilité du rachis lombaire, sans syndrome vertébral aigu et sans signe d'irritation des nerfs sciatiques. S'agissant de la PSH gauche, le docteur P._, qui a précisé avoir examiné les épaules avec attention, a constaté que la mobilité était normale, sans signe de tendinite de la coiffe des rotateurs, de rupture tendineuse ou de capsulite rétractile. Globalement, le docteur P._ n'a retenu aucune affection justifiant une incapacité de travail.
Sur la base de ces éléments, l'appréciation de l'état de santé somatique faite par le tribunal cantonal ne prête pas à la critique et il y a lieu d'admettre qu'il pouvait sans arbitraire et sans violer le droit fédéral se fonder sur l'avis du docteur P._.
5.5 Sur le plan psychique, la doctoresse V._ a procédé à une anamnèse complète. Son examen n'a mis en évidence aucun élément du registre psychotique ni évocateur d'un trouble grave de la personnalité. Il n'y a pas non plus de signe de syndrome de stress post-traumatique ni de modification de la personnalité après une expérience de catastrophe. Par contre, elle a constaté des éléments anxieux clairs, qui correspondent à un diagnostic de dysthymie, leur intensité étant insuffisante pour qu'ils soient considérés comme de la dépression selon les critères de la CIM-10. La doctoresse V._ a donc nié l'existence d'une quelconque limitation fonctionnelle psychiatrique et a reconnu au recourant une pleine capacité de travail dans son activité habituelle. Cet avis médical est bien motivé. Il est conforme aux principes développés par la jurisprudence pour qu'il ait pleine valeur probante (ATF 125 V 351 consid. 3a p. 352).
Le recourant estime que l'avis des docteurs D._ et A._, tel qu'il ressort du rapport du 18 septembre 2003, infirme l'avis exprimé par la doctoresse V._ de façon telle que celui-ci perd toute valeur probante. Pour apprécier cet argument, il faut relever que les docteurs D._ et A._ fondent leur diagnostic sur les plaintes subjectives du patient et sur leurs constatations objectives. Dans les premières, le recourant a affirmé ne plus oser conduire de véhicule en raison de troubles de la concentration et de la mémoire, ne plus oser sortir de chez lui, présenter un état anxieux massif et constant ainsi que des troubles du sommeil, de l'endormissement, accompagnés de réveils en sursaut et de réveils précoces. Dans leurs constatations objectives, les deux psychiatres ont retenu la présence d'une légère agitation anxieuse, d'idées délirantes de persécution, d'indignité et de ruine. Ils n'ont constaté aucune hallucination psychique ou psychosensorielle ni de trouble délirant franc. Sur le plan de l'affectivité et de l'humeur, le recourant s'est montré apathique, triste inhibé, évitent, avec un sentiment d'insuffisance et de perte d'espoir, une colère et une agressivité rentrée. Les docteurs D._ et A._ ne précisent cependant pas sur quels critères ils retiennent un trouble dépressif récurrent sévère. Concernant les idées délirantes, ils ne disent pas en quoi elles consistent. Ils se bornent à relever qu'elles ont trait à l'incident du 30 août 2002.
Contrairement à ce que prétend le recourant, la doctoresse V._ a examiné les éléments relevés par le rapport du 18 septembre 2003 des docteurs D._ et A._. Elle a relevé que le recourant ne conduisait plus sa voiture en raison d'un accident qui a lieu au début de l'année 2003 et non en raison de troubles de la concentration et de la mémoire. La description que le recourant a fait de son emploi du temps à la doctoresse V._ montre qu'il sort régulièrement de chez lui et qu'il rencontre des amis. Ce mode de vie exclut une éventuelle phobie sociale. Enfin, les difficultés relatives au sommeil, à l'endormissement et au réveil peuvent s'expliquer, selon la doctoresse V._, par le fait que le recourant se repose longuement après le repas de midi après avoir pris un Zyprexa® dont il connaît les effets sédatifs. Les troubles de sommeil ne peuvent donc pas être considérés comme étant d'origine dépressive.
En constatant qu'aucun élément du dossier psychiatrique ne permettait de mettre en doute le rapport de la doctoresse V._, le tribunal cantonal a statué sans arbitraire.
6. En conséquence de ce qui précède, il apparaît que les juges cantonaux n'ont pas violé le droit fédéral en refusant la demande d'expertise judiciaire présentée par le recourant et en constatant que celui-ci avait une capacité de travail entière dans son activité habituelle, ce qui exclut tout droit aux prestations de l'assurance-invalidité.
Le recours doit donc être rejeté.
7. La procédure est onéreuse (art. 65 al. 4 let. a LTF). Au vu de l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant (art. 66 al. 1 LTF), qui ne peut prétendre à des dépens (art. 68 al. 1 LTF). Le recourant a sollicité le bénéfice de l'assistance judiciaire. Etant donné qu'il en remplit les conditions (art. 64 al. 1 et 2 LTF), l'assistance judiciaire gratuite lui est accordée, de sorte qu'il sera dispensé des frais judiciaires et que les honoraires de son avocat seront pris en charge par la caisse du Tribunal fédéral. Son attention est attirée sur le fait qu'il devra rembourser la caisse du Tribunal fédéral, s'il devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal fédéral.
4. Les honoraires de Me Diserens sont fixés à 2'800 fr. (y compris la taxe sur la valeur ajoutée) pour la procédure fédérale. Ils sont supportés provisoirement par la caisse du Tribunal fédéral.
5. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois - anciennement Tribunal des assurances du canton de Vaud - et à l'Office fédéral des assurances sociales.
Lucerne, le 8 juillet 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner