Faits:
A. M._, d'origine étrangère, a acquis une formation commerciale. Il est arrivé en Suisse en décembre 1998 en tant que réfugié politique.
Le 6 septembre 2006, M._ a présenté une demande de prestations de l'assurance-invalidité, en requérant l'octroi d'une rente d'invalidité. Dans un rapport du 20 décembre 2006, le docteur C._, spécialiste FMH en médecine générale et médecin traitant de l'assuré, a déposé ses observations, en relevant dans l'annexe au rapport que la pathologie était "actuellement" essentiellement d'ordre psychiatrique, de sorte qu'il appartenait aux spécialistes concernés de se prononcer. Dans un rapport du 27 février 2007, la doctoresse T._, chef de clinique à la Consultation psychothérapeutique X._, a posé les diagnostics ayant des répercussions sur la capacité de travail de modification durable de la personnalité (fonctionnement de type psychotique) après expérience de catastrophe (F62.0) et de status après plusieurs troubles psychotiques aigus (F23.9) survenus entre 2000 et 2005. Estimant que le patient était en incapacité de travail totale dans toute activité quelle qu'elle soit (depuis en tout cas février 2006 - date du début du traitement - et probablement depuis 1999), elle relevait dans l'annexe au rapport que le tableau clinique que l'assuré présentait chroniquement ne semblait pas compatible avec une activité professionnelle. Dans un rapport du 20 février 2007, complété le 23 mai 2007, la doctoresse A._, médecin adjoint de la Clinique psychiatrique Y._, et le psychologue associé S._ ont posé les diagnostics ayant des répercussions sur la capacité de travail de modification durable de la personnalité après une expérience de catastrophe ([CIM-10] F62.0) et de probable trouble de la personnalité de type psychotique (F60.8). Ils indiquaient que l'assuré avait été hospitalisé à six reprises de 2000 à 2005 et que la plupart de ces hospitalisations, dont les cinq premières avaient eu lieu entre 2000 et 2001, s'étaient faites dans le contexte d'une décompensation psychotique avec très souvent des situations d'hétéro-agressivité et de trouble du comportement.
Sur proposition des médecins du SMR (avis médical du 9 janvier 2008), l'Office de l'assurance-invalidité pour le canton de Vaud a confié une expertise médicale au docteur H._, spécialiste FMH en psychiatrie-psychothérapie. Dans un rapport du 5 octobre 2008, ce médecin a posé le diagnostic ayant une répercussion sur la capacité de travail d'autres troubles psychotiques aigus et transitoires ([CIM-10] F23.8), en relevant que ce trouble avait existé d'une manière intermittente en lien avec les périodes autour des hospitalisations documentées. Le docteur H._ indiquait que durant les manifestations psychotiques aiguës, telles que documentées, il fallait partir de l'idée d'une incapacité de travail et qu'en dehors de ces périodes la capacité de travail de l'assuré était entière. Les médecins du SMR, dans un rapport du 20 janvier 2009 où ils ont nié toute incapacité de travail durable au sens de l'AI, ont conclu à une capacité de travail pleinement exigible dans l'activité habituelle et dans une activité adaptée puisqu'il n'y avait pas de limitations fonctionnelles.
Dans un préavis du 17 février 2009, l'office AI a informé M._ que les troubles d'ordre psychique qu'il avait présentés avaient existé de manière intermittente lors des périodes où il avait été menacé d'expulsion vers son pays d'origine ou lors de séances administratives d'évaluation et que de l'avis de l'expert H._ on pouvait exiger de lui qu'il exerce une activité professionnelle, avec la capacité de travail qui était pleinement exigible de sa part en l'absence de limitations fonctionnelles. Le 10 mars 2009, l'assuré a communiqué ses observations à l'office AI. De son côté, la doctoresse G._, spécialiste FMH en psychiatrie-psychothérapie et médecin de la Consultation psychothérapeutique X._, a elle aussi fait part à l'office AI de ses observations dans une lettre du 2 mars 2009. Dans un rapport du 15 mai 2009, la doctoresse U._, médecin responsable de la Consultation psychothérapeutique X._, et la doctoresse G._ ont maintenu le diagnostic de modification durable de la personnalité après une expérience de catastrophe ([CIM-10] F62.0). Elles relevaient qu'un état de stress post-traumatique pouvait précéder ce type de modification de la personnalité et que dans le cas de M._, il était vraisemblable que l'assuré ait pu présenter les symptômes d'un état de stress post-traumatique dans les jours qui avaient suivi le traumatisme qu'il avait subi en tant que témoin du massacre de son village. Ces médecins ont relevé également que les signes cliniques faisaient aussi partie des critères pour un épisode dépressif (F32). Dans un avis médical du 26 juin 2009, les médecins du SMR s'en sont tenus à l'analyse effectuée par l'expert H._, lequel n'avait pas retenu ces diagnostics. Par décision du 9 novembre 2009, l'office AI, tout en s'exprimant dans un courrier séparé daté du même jour sur les observations de l'assuré et des doctoresses G._ et U._, a rejeté la demande, au motif que l'on pouvait exiger de M._ qu'il exerce une activité professionnelle et qu'en l'absence de limitations fonctionnelles il présentait une capacité de travail pleinement exigible et n'avait dès lors pas droit à une rente d'invalidité ni à des mesures d'ordre professionnel.
B. Le 10 décembre 2009, M._ a formé recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, en concluant à l'octroi d'une rente entière d'invalidité en raison des troubles d'ordre psychique dont il est atteint qui l'empêchaient totalement de travailler. Dans sa réplique du 21 avril 2010, D._ M._(recte: E._ M._; cf. attestation de séjour du 15 janvier 2007) M._ a conclu, sous suite de frais et dépens, à l'allocation d'une rente entière dès le 1er septembre 2006 ou dès la date que justice dira, à titre subsidiaire à l'annulation de la décision entreprise et au renvoi de la cause à l'office AI pour nouvelle instruction et nouvelle décision dans le sens des considérants. Par arrêt du 6 septembre 2010, la juridiction cantonale a rejeté le recours.
C. D._ (recte: E._) M._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui est allouée, à titre subsidiaire à son annulation, la cause étant renvoyée à l'office de l'assurance-invalidité pour nouvelle instruction et nouvelle décision dans le sens des considérants.
D. Par ordonnance du 25 novembre 2010, le Tribunal fédéral a rejeté la demande d'assistance judiciaire formée par le recourant.
Considérant en droit:
1. 1.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement en cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire insoutenable, voire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère insoutenable ou arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2, respectivement de l'art. 106 al. 2 LTF (ATF 135 III 127 consid. 1.6 p. 130 et l'arrêt cité, 134 II 244 consid. 2.2 p. 246, 133 II 249 consid. 1.4.3 p. 254 s.).
1.2 Les principes relatifs au pouvoir d'examen développés dans l'ATF 132 V 393 consid. 3 p. 397 s. continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application du droit par cette dernière (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité - dans la mesure où elle dépend d'une évaluation de la personne concrète, de son état de santé et de ses capacités fonctionnelles - relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398).
2. Le litige porte sur le droit du recourant à une rente d'invalidité, singulièrement sur l'atteinte à la santé qu'il présente et l'incidence de celle-ci sur sa capacité de travail ainsi que sur le taux d'invalidité fondant le droit à la prestation.
2.1 Le jugement entrepris expose correctement les dispositions légales relatives aux notions d'incapacité de gain (art. 7 LPGA jusqu'au 31 décembre 2007; art. 7 al. 1 et 2 LPGA depuis le 1er janvier 2008 [sur le caractère objectif de l'appréciation de l'exigibilité, cf. ATF 135 V 215 consid. 7.2 et 7.3 p. 229 s.]) et d'invalidité (art. 4 al. 1 LAI et art. 8 al. 1 LPGA), ainsi que les règles régissant l'évaluation de l'invalidité des assurés exerçant une activité lucrative (art. 16 LPGA en corrélation avec l'art. 28 al. 2 LAI jusqu'au 31 décembre 2007 et avec l'art. 28a al. 1 LAI depuis le 1er janvier 2008) dont on relèvera que les principes jurisprudentiels y relatifs continuent à s'appliquer après l'entrée en vigueur, le 1er janvier 2008, de la novelle du 6 octobre 2006 [5e révision de l'AI] (arrêt 8C_373/2008 du 28 août 2008, consid. 2.1).
2.2 Les règles et principes jurisprudentiels sur la valeur probante d'un rapport médical (ATF 134 V 231 consid. 5.1 p. 232, 125 V 351 consid. 3a p. 352), en cas de divergence d'opinion entre experts et médecins traitants (ATF 124 I 170 consid. 4 p. 175; arrêt I 514/06 du 25 mai 2007 consid. 2.2.1, in SVR 2008 IV n°15 p. 43), sont exposés correctement dans le jugement entrepris, auquel on peut ainsi renvoyer.
3. La juridiction cantonale a relevé que selon l'expert H._, le recourant "(semblait) compensé à tous points de vue" et que cet élément attestait d'une évolution médicale favorable avec pour corollaire une entière exigibilité de travail sur le plan médico-théorique et psychiatrique, appréciation médicale qui était confirmée dans les faits puisque la dernière hospitalisation remontait à 2005. Elle a retenu que le suivi articulé mis en oeuvre depuis lors (traitement psychiatrique en ambulatoire et médication adaptée) avait effectivement permis une stabilisation de l'état de santé du recourant avec une évolution favorable.
3.1 L'autorité précédente a nié qu'il existe "actuellement" un indice concret attestant d'atteintes durables à la santé susceptibles d'empêcher l'insertion du recourant dans les activités professionnelles exigibles de sa part. A l'examen des rapports médicaux, elle a relevé que les constatations en ce qui concerne le status du recourant apparaissaient en tous points identiques, que seuls divergeaient les diagnostics retenus et que la concordance entre les différents médecins prédominait s'agissant de la description du tableau clinique et de l'anamnèse. Elle a considéré que la situation médicale arrêtée par l'expert H._ dans son rapport du 5 octobre 2008 était exacte et que la différence avec le rapport des doctoresses U._ et G._ du 15 mai 2009 procédait ainsi exclusivement d'une appréciation médicale distincte de celle de l'expert sur un état de fait clinique en tous points semblable.
3.2 Le recourant fait valoir que la CIM-10 constitue une échelle objective et que c'est le mérite des doctoresses U._ et G._ d'avoir procédé à une évaluation selon la CIM-10 du tableau clinique établi par l'expert H._. Il en conclut que cela relègue au second plan toute subjectivité et qu'en écartant le rapport des doctoresses U._ et G._ du 15 mai 2009, la juridiction cantonale l'a fait en définitive uniquement parce qu'il émanait des médecins traitants.
Du jugement entrepris, il ressort toutefois que l'expert H._ a lui-même fait application de la CIM-10 dans la pose du diagnostic et qu'il a indiqué en page 22 de son rapport du 5 octobre 2008 que si du côté subjectif persistaient certains troubles, sous l'angle objectif il n'existait en définitive aucune "preuve" de dysfonctionnements issus des symptômes évoqués par le recourant. La juridiction cantonale a relevé que cette analyse était confortée par les autres rapports médicaux, en particulier le rapport des doctoresses U._ et G._ du 15 mai 2009 où elles avaient échoué dans l'objectivation de la présence des graves dysfonctionnements dont se plaignait le recourant, dans la mesure où elles fondaient leur diagnostic d'état de stress post-traumatique selon la CIM-10 et de modification durable de la personnalité comme séquelle chronique et irréversible sur des conséquences probables - non attestées par les faits - qui seraient survenues les jours qui avaient suivi les événements tragiques vécus par le recourant, ce que celui-ci ne discute pas. L'autorité précédente a relevé également que rien dans l'anamnèse ne démontrait objectivement que l'assuré ait souffert d'une quelconque maladie psychiatrique avant sa première décompensation survenue en mars 2000, ce qui n'est pas remis en cause. Le recours est mal fondé de ce chef.
3.3 Le recourant fait valoir que le docteur H._ a fait preuve en pages 23 et 26 de son rapport du 5 octobre 2008 d'une certaine prudence en préconisant la mise en oeuvre d'un stage résidentiel si des doutes persistaient sur son état et que ces doutes démontraient à l'évidence que l'expert était lui-même en proie à quelques interrogations quant à la situation objective de l'assuré. Il allègue que la juridiction cantonale, en admettant que l'expertise du 5 octobre 2008 avait pleine valeur probante, n'a pas su identifier les doutes témoignés par l'expert qui préconisait, suivi en cela par les médecins traitants, une instruction complémentaire sous la forme d'un stage d'observation et lui reproche d'avoir fait preuve d'arbitraire dans son appréciation du rapport de l'expert H._. Pour autant, le recourant ne démontre pas le caractère insoutenable, voire arbitraire de l'appréciation de ces éléments par la juridiction cantonale, par une argumentation qui réponde aux exigences de l'art. 42 al. 2, respectivement de l'art. 106 al. 2 LTF (supra, consid. 1.1). Son argumentation repose sur l'hypothèse où des doutes subsisteraient sur son état de santé, hypothèse que l'autorité précédente n'a cependant pas retenue vu qu'il n'existe aucune preuve de dysfonctionnements issus des symptômes évoqués par le recourant. Le recours est mal fondé.
4. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 16 août 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner