Faits: A. M._, d'origine étrangère, a acquis une formation commerciale. Il est arrivé en Suisse en décembre 1998 en tant que réfugié politique. Le 6 septembre 2006, M._ a présenté une demande de prestations de l'assurance-invalidité, en requérant l'octroi d'une rente d'invalidité. Dans un rapport du 20 décembre 2006, le docteur C._, spécialiste FMH en médecine générale et médecin traitant de l'assuré, a déposé ses observations, en relevant dans l'annexe au rapport que la pathologie était "actuellement" essentiellement d'ordre psychiatrique, de sorte qu'il appartenait aux spécialistes concernés de se prononcer. Dans un rapport du 27 février 2007, la doctoresse T._, chef de clinique à la Consultation psychothérapeutique X._, a posé les diagnostics ayant des répercussions sur la capacité de travail de modification durable de la personnalité (fonctionnement de type psychotique) après expérience de catastrophe (F62.0) et de status après plusieurs troubles psychotiques aigus (F23.9) survenus entre 2000 et 2005. Estimant que le patient était en incapacité de travail totale dans toute activité quelle qu'elle soit (depuis en tout cas février 2006 - date du début du traitement - et probablement depuis 1999), elle relevait dans l'annexe au rapport que le tableau clinique que l'assuré présentait chroniquement ne semblait pas compatible avec une activité professionnelle. Dans un rapport du 20 février 2007, complété le 23 mai 2007, la doctoresse A._, médecin adjoint de la Clinique psychiatrique Y._, et le psychologue associé S._ ont posé les diagnostics ayant des répercussions sur la capacité de travail de modification durable de la personnalité après une expérience de catastrophe ([CIM-10] F62.0) et de probable trouble de la personnalité de type psychotique (F60.8). Ils indiquaient que l'assuré avait été hospitalisé à six reprises de 2000 à 2005 et que la plupart de ces hospitalisations, dont les cinq premières avaient eu lieu entre 2000 et 2001, s'étaient faites dans le contexte d'une décompensation psychotique avec très souvent des situations d'hétéro-agressivité et de trouble du comportement. Sur proposition des médecins du SMR (avis médical du 9 janvier 2008), l'Office de l'assurance-invalidité pour le canton de Vaud a confié une expertise médicale au docteur H._, spécialiste FMH en psychiatrie-psychothérapie. Dans un rapport du 5 octobre 2008, ce médecin a posé le diagnostic ayant une répercussion sur la capacité de travail d'autres troubles psychotiques aigus et transitoires ([CIM-10] F23.8), en relevant que ce trouble avait existé d'une manière intermittente en lien avec les périodes autour des hospitalisations documentées. Le docteur H._ indiquait que durant les manifestations psychotiques aiguës, telles que documentées, il fallait partir de l'idée d'une incapacité de travail et qu'en dehors de ces périodes la capacité de travail de l'assuré était entière. Les médecins du SMR, dans un rapport du 20 janvier 2009 où ils ont nié toute incapacité de travail durable au sens de l'AI, ont conclu à une capacité de travail pleinement exigible dans l'activité habituelle et dans une activité adaptée puisqu'il n'y avait pas de limitations fonctionnelles. Dans un préavis du 17 février 2009, l'office AI a informé M._ que les troubles d'ordre psychique qu'il avait présentés avaient existé de manière intermittente lors des périodes où il avait été menacé d'expulsion vers son pays d'origine ou lors de séances administratives d'évaluation et que de l'avis de l'expert H._ on pouvait exiger de lui qu'il exerce une activité professionnelle, avec la capacité de travail qui était pleinement exigible de sa part en l'absence de limitations fonctionnelles. Le 10 mars 2009, l'assuré a communiqué ses observations à l'office AI. De son côté, la doctoresse G._, spécialiste FMH en psychiatrie-psychothérapie et médecin de la Consultation psychothérapeutique X._, a elle aussi fait part à l'office AI de ses observations dans une lettre du 2 mars 2009. Dans un rapport du 15 mai 2009, la doctoresse U._, médecin responsable de la Consultation psychothérapeutique X._, et la doctoresse G._ ont maintenu le diagnostic de modification durable de la personnalité après une expérience de catastrophe ([CIM-10] F62.0). Elles relevaient qu'un état de stress post-traumatique pouvait précéder ce type de modification de la personnalité et que dans le cas de M._, il était vraisemblable que l'assuré ait pu présenter les symptômes d'un état de stress post-traumatique dans les jours qui avaient suivi le traumatisme qu'il avait subi en tant que témoin du massacre de son village. Ces médecins ont relevé également que les signes cliniques faisaient aussi partie des critères pour un épisode dépressif (F32). Dans un avis médical du 26 juin 2009, les médecins du SMR s'en sont tenus à l'analyse effectuée par l'expert H._, lequel n'avait pas retenu ces diagnostics. Par décision du 9 novembre 2009, l'office AI, tout en s'exprimant dans un courrier séparé daté du même jour sur les observations de l'assuré et des doctoresses G._ et U._, a rejeté la demande, au motif que l'on pouvait exiger de M._ qu'il exerce une activité professionnelle et qu'en l'absence de limitations fonctionnelles il présentait une capacité de travail pleinement exigible et n'avait dès lors pas droit à une rente d'invalidité ni à des mesures d'ordre professionnel. B. Le 10 décembre 2009, M._ a formé recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, en concluant à l'octroi d'une rente entière d'invalidité en raison des troubles d'ordre psychique dont il est atteint qui l'empêchaient totalement de travailler. Dans sa réplique du 21 avril 2010, D._ M._(recte: E._ M._; cf. attestation de séjour du 15 janvier 2007) M._ a conclu, sous suite de frais et dépens, à l'allocation d'une rente entière dès le 1er septembre 2006 ou dès la date que justice dira, à titre subsidiaire à l'annulation de la décision entreprise et au renvoi de la cause à l'office AI pour nouvelle instruction et nouvelle décision dans le sens des considérants. Par arrêt du 6 septembre 2010, la juridiction cantonale a rejeté le recours. C. D._ (recte: E._) M._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui est allouée, à titre subsidiaire à son annulation, la cause étant renvoyée à l'office de l'assurance-invalidité pour nouvelle instruction et nouvelle décision dans le sens des considérants. D. Par ordonnance du 25 novembre 2010, le Tribunal fédéral a rejeté la demande d'assistance judiciaire formée par le recourant.