Faits:
A. M._, né en 1950, est entré en Suisse en 1978, où il a travaillé en qualité d'ouvrier agricole puis de manoeuvre de chantier. Il a exercé à plusieurs reprises l'activité d'ouvrier dans la construction au service de l'entreprise X._, la dernière fois du 19 juillet 1999 au 12 septembre 2000, dernier jour de travail effectif. Le 1er mars 2001, il a présenté une demande de prestations de l'assurance-invalidité.
Dans un rapport du 15 mars 2001, le docteur J._, spécialiste en médecine générale, a posé le diagnostic ayant des répercussions sur la capacité de travail de syndrome radiculaire irritatif lombaire, en indiquant que le patient présentait une incapacité totale de travail depuis septembre 2000 dans l'activité de manoeuvre de chantier, qui n'était plus exigible, et que l'on ne pouvait pas exiger de lui qu'il exerce une autre activité (annexe au rapport). Il produisait un rapport du 20 février 2001 du docteur C._, spécialiste FMH en neurologie. Dans un rapport du 3 décembre 2002, le docteur B._, spécialiste en médecine générale, a retenu le diagnostic avec répercussion sur la capacité de travail de syndrome lomboradiculaire L5 gauche déficitaire et de protrusion postéromédiane du disque au niveau L4-L5. Concluant à une incapacité de travail de 100 % depuis septembre 2000, ce médecin a répondu par la négative aux questions de savoir si l'activité exercée jusque-là était encore exigible et si l'on pouvait exiger de l'assuré qu'il exerce une autre activité (annexe au rapport). Il produisait un rapport du 5 juin 2001 du docteur R._, spécialiste FMH en neurochirurgie, et un rapport du 31 juillet 2001 de la doctoresse T._, spécialiste FMH en médecine interne et spécialiste en maladies rhumatismales.
L'Office de l'assurance-invalidité pour le canton de Vaud, sur mandat du SMR, a confié une expertise médicale au docteur G._, spécialiste FMH en rhumatologie et médecine interne et spécialiste de la médecine du sport. Dans un rapport du 30 juin 2003, ce médecin a posé notamment les diagnostics de trouble somatoforme douloureux sous la forme de rachialgies chroniques avec irradiations pseudo-radiculaires au membre inférieur gauche, douleurs du membre supérieur gauche et paresthésies associées, et de troubles dégénératifs rachidiens importants. Il a répondu que la capacité de travail de M._ était nulle dans son ancienne activité d'ouvrier de chantier, mais que l'on pouvait espérer une capacité de travail de 75 % dans un emploi adapté, en tenant compte de sa diminution de rendement.
Sur proposition du docteur L._ (avis médical SMR du 23 septembre 2003), l'office AI a confié une expertise psychiatrique au docteur S._, spécialiste FMH en psychiatrie et psychothérapie. Dans ce cadre, un entretien a eu lieu avec M._ le 29 janvier 2004, date à laquelle ont été effectués des tests psychométriques et leurs corrections. Dans un rapport du 5 mars 2004, le docteur S._ et la psychologue-psychothérapeute A._ ont retenu que selon le DSM-IV, l'assuré présentait un trouble douloureux associé à la fois à des facteurs psychologiques et une affection médicale générale chronique d'intensité légère (axe I) dans le contexte de troubles rachidiens dégénératifs sans comorbidité psychiatrique, mais qu'il ne présentait pas de trouble significatif de la personnalité associé (axe II). D'un point de vue strictement psychiatrique, il n'y avait pas d'incapacité de travail à proprement parler, puisqu'il s'agissait d'une problématique socio-culturelle et économique.
Dans un rapport d'examen SMR du 25 mars 2004, les docteurs L._ et H._ ont conclu à une capacité de travail exigible de 75 % dès le 12 septembre 2000 dans une activité adaptée aux limitations fonctionnelles.
Le 31 août 2004, l'office AI a rendu une décision de refus de rente et de mesures d'ordre professionnel, par laquelle il a rejeté la demande. Il avisait M._ qu'il pourrait réaliser avec une capacité de travail de 75 % un revenu annuel d'invalide de 35'929 fr. Compte tenu d'un revenu sans invalidité de 50'487 fr. par année, la comparaison des revenus donnait une invalidité de 28 %, taux ne conférant aucun droit à une rente.
Le 1er octobre 2004, M._ a formé opposition contre cette décision.
Par décision du 22 février 2006, l'office AI a rejeté l'opposition.
B. Le 27 mars 2006, M._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal), en concluant, sous suite de frais et dépens, à sa réforme en ce sens que la décision du 31 août 2004 était annulée et qu'une rente entière d'invalidité lui était allouée dès le 12 septembre 2000. Produisant plusieurs documents relatifs à des hospitalisations en décembre 2005 et février 2006 et une publication du docteur I._ ayant trait à la pathologie vertébrale, il demandait à titre préalable qu'une expertise médicale soit ordonnée, requête qu'il a renouvelée le 14 juillet 2006 en sollicitant l'audition de témoins.
Par décision du 4 octobre 2006, le juge instructeur a rejeté la requête d'expertise. Le 16 octobre 2006, M._ a fait opposition à cette décision. Par jugement incident du 16 janvier 2007, le Tribunal des assurances du canton de Vaud a rejeté l'opposition.
Par jugement du 5 octobre 2007, expédié le 18 avril 2008, la juridiction cantonale a rejeté le recours.
C. M._ interjette un recours en matière de droit public contre le jugement du 5 octobre 2007, en concluant, sous suite de frais et dépens, à l'annulation du jugement incident du 16 janvier 2007 et à la réforme du jugement attaqué en ce sens que la décision de l'office AI du 31 août 2004 est annulée et qu'une rente entière d'invalidité lui est allouée dès le 12 septembre 2000. A titre subsidiaire, il conclut à l'annulation du jugement du 5 octobre 2007, la cause étant renvoyée à la juridiction cantonale pour qu'elle ordonne une expertise psychiatrique, le rapport d'expertise du 5 mars 2004 étant écarté du dossier. Produisant plusieurs documents, il requiert l'audition de témoins.
L'Office de l'assurance-invalidité pour le canton de Vaud, qui s'en remet au jugement attaqué, conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recourant s'en prend d'abord au jugement incident du 16 janvier 2007 par lequel la juridiction cantonale a écarté l'opposition qu'il avait formée contre la décision du juge instructeur du 4 octobre 2006 rejetant sa requête d'expertise. Il fait valoir qu'il s'agit d'une décision incidente au sens de l'art. 93 LTF, qui peut être attaquée dans un recours contre la décision finale, et que le refus d'ordonner une expertise viole l'art. 6 par. 1 CEDH.
1.2 Le jugement incident du 16 janvier 2007 constitue effectivement une décision incidente au sens de l'art. 93 LTF, qui ne causait pas de préjudice irréparable au recourant (art. 93 al. 1 let. a LTF), puisque le refus d'ordonner une expertise pouvait être réparé au cours de la procédure, notamment par une décision finale (ATF 134 III 188 consid. 2.1 p. 190 et les références). Il ne pouvait donc être attaqué par un recours au Tribunal fédéral, les conditions de l'art. 93 al. 1 let. b LTF n'étant pas non plus réunies.
Aussi, pour autant qu'il soit encore susceptible d'influer sur le sort de la décision finale, et uniquement dans cette mesure - les premiers juges ayant une nouvelle fois rejeté la requête d'expertise dans leur jugement du 5 octobre 2007 au titre de l'appréciation anticipée des preuves -, le jugement incident du 16 janvier 2007 peut-il être remis en question aujourd'hui.
2. 2.1 Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. Art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF seraient réalisées. A ce défaut, un état de fait divergent de celui de la décision attaquée ne peut être pris en compte (cf. arrêt 6B_2/2007 du 14 mars 2007, consid. 3). La faculté que l'art. 105 al. 2 LTF confère au Tribunal fédéral de rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF ne dispense pas le recourant de son obligation d'allégation et de motivation. Il n'incombe pas au Tribunal fédéral de rechercher lui-même dans le dossier si ce dernier pourrait éventuellement contenir des indices d'une inexactitude de l'état de fait de l'autorité précédente. L'art. 105 al. 2 LTF trouve application lorsque le Tribunal fédéral, en examinant les griefs soulevés, constate une inexactitude manifeste dans l'état de fait de l'autorité précédente ou lorsque celle-ci saute d'emblée aux yeux (ATF 133 IV 286 consid. 6.2 p. 288; 133 II 249 consid. 1.4.3 p. 255). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2.2 Devant la Cour de céans, le recourant produit la version internet de publications sous la forme de courriers des lecteurs et renouvelle la requête d'audition de témoins présentée devant la juridiction cantonale.
Toutefois, le jugement attaqué du 5 octobre 2007 ne justifie pas pour la première fois de soulever ces moyens, lesquels ne sont pas nouveaux au sens de l'art. 99 al. 1 LTF, faute de résulter de la décision de l'autorité précédente (ULRICH MEYER, in: Niggli/Uebersax/Wiprächtiger, Basler Kommentar zum BGG, Basel 2008, N. 44 à 47 ad Art. 99 BGG; NICOLAS VON WERDT, in: Seiler/von Werdt/Güngerich, Bundesgerichtsgesetz, Bern 2007, N. 6 ad Art. 99 BGG; YVES DONZALLAZ, Commentaire de la Loi sur le Tribunal fédéral, Berne 2008, N. 4051 ad Art. 99 LTF). Ils ne sont dès lors pas admissibles.
3. Le litige a trait au droit à une rente d'invalidité, singulièrement aux incidences sur la capacité de travail du recourant des atteintes à la santé qu'il présente.
3.1 Les principes relatifs au pouvoir d'examen développés dans l'ATF 132 V 393 consid. 3 p. 397 s. (en relation avec l'art. 132 OJ dans sa version en vigueur du 1er juillet au 31 décembre 2006) continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application qu'elle fait du droit (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé (diagnostic, etc.), la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398).
3.2 Le jugement attaqué expose correctement les dispositions légales et les principes jurisprudentiels relatifs aux notions d'incapacité de gain (art. 7 LPGA) et d'invalidité (art. 4 al. 1 LAI et art. 8 al. 1 LPGA), notamment en cas de troubles somatoformes douloureux persistants (ATF 131 V 49, 130 V 352). On peut ainsi y renvoyer.
On ajoutera qu'en cas de divergence d'opinion entre experts et médecins traitants, il n'est pas, de manière générale, nécessaire de mettre en oeuvre une nouvelle expertise. La valeur probante des rapports médicaux des uns et des autres doit bien plutôt s'apprécier au regard des critères jurisprudentiels (ATF 125 V 351 consid. 3a p. 352) qui permettent de leur reconnaître pleine valeur probante. A cet égard, il convient de rappeler qu'au vu de la divergence consacrée par la jurisprudence entre un mandat thérapeutique et un mandat d'expertise (ATF 124 I 170 consid. 4 p. 175; arrêt I 514/06 du 25 mai 2007 consid. 2.2.1, in SVR 2008 IV Nr. 15 p. 43), on ne saurait remettre en cause une expertise ordonnée par l'administration ou le juge et procéder à de nouvelles investigations du seul fait qu'un ou plusieurs médecins traitants ont une opinion contradictoire. Il n'en va différemment que si ces médecins traitants font état d'éléments objectivement vérifiables ayant été ignorés dans le cadre de l'expertise et qui sont suffisamment pertinents pour remettre en cause les conclusions de l'expert.
4. Le jugement attaqué confirme l'appréciation par l'intimé de la capacité de travail du recourant, selon laquelle celui-ci présentait une capacité résiduelle de travail de 75 % dans une activité adaptée respectant les limitations fonctionnelles, mais ne présentait aucune limitation de la capacité de travail sur le plan psychiatrique. Se fondant sur l'expertise du docteur G._ du 30 juin 2003, les premiers juges ont retenu le diagnostic de trouble somatoforme douloureux sous la forme de rachialgies chroniques avec irradiations pseudo-radiculaires au membre inférieur gauche, douleurs du membre supérieur gauche et paresthésies associées, tout en se ralliant aux conclusions de l'expert relatives à la capacité de travail. Relevant que l'expertise psychiatrique du 5 mars 2004 attestait l'absence d'atteinte psychiatrique et d'incapacité de travail sur ce plan-là, ils ont retenu que le trouble somatoforme douloureux n'avait pas d'incidence sur la capacité de travail dès lors qu'en l'absence de comorbidité psychiatrique, il ne saurait être invalidant.
4.1 Le recourant invoque les principes d'équité et d'égalité des armes au sens de l'art. 6 § 1 CEDH pour critiquer les critères jurisprudentiels (ATF 125 V 351 consid. 3a p. 352) qui permettent de reconnaître aux rapports médicaux pleine valeur probante. Partant de l'idée que l'expert choisi par l'assureur "fait preuve", il reproche à la juridiction cantonale d'avoir écarté les appréciations divergentes en fonction de leur origine, en s'abstenant d'emblée de peser les raisons qui motivent ces divergences et militent en faveur de l'assuré. Cela n'est pas pertinent. L'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (ATF 125 V 351 consid. 3a p. 352). Dans ce contexte, la personne de l'expert ne revêt donc aucune valeur probante. D'ordre général, les griefs ci-dessus du recourant sont insuffisamment motivés pour que la Cour de céans se prononce sur la violation des droits fondamentaux qu'il invoque à ce propos (art. 106 al. 2 LTF; ATF 133 II 249 consid. 1.4.2 p. 254). Le recours est mal fondé de ce chef.
4.2 Le recourant reproche à la juridiction cantonale de n'avoir donné aucune suite à sa requête demandant que l'expertise psychiatrique du 5 mars 2004 soit écartée du dossier. Il fait valoir qu'à défaut d'une nouvelle expertise, il n'a pas participé à la procédure dans une mesure suffisante pour lui assurer un procès équitable.
4.3 Le principe d'équité au sens de l'art. 6 § 1 CEDH n'accorde pas aux parties le droit illimité d'obtenir la convocation de tous les témoins qu'elles proposent ou l'acceptation de toutes leurs offres de preuve; toutefois, il implique pour chaque justiciable le droit de présenter sa cause dans des conditions qui ne le placent pas dans une situation de net désavantage par rapport à la partie adverse (Bicer c. Suisse, décision d'irrecevabilité de la Cour européenne des droits de l'homme du 22 juin 1999, in VPB 2000 Nr. 138 p. 1341 concernant l'arrêt [du Tribunal fédéral des assurances] U 213/94 du 3 mai 1996 publié in ATF 122 V 157).
4.4 En l'espèce, les premiers juges se sont livrés à un examen effectif des moyens, arguments et offres de preuve de l'assuré, conformément à l'art. 6 § 1 CEDH (Schlumpf c. Suisse, arrêt de la Cour européenne des droits de l'homme du 8 janvier 2009, § 52; Van de Hurk c. Pays-Bas, arrêt du 19 avril 1994, série A n° 288, p. 19, § 59). Ainsi que cela ressort du jugement attaqué (consid. 7a et b), ils ont relevé que les documents établis par le docteur R._ étaient antérieurs à l'expertise du docteur G._ du 30 juin 2003 et qu'ils n'apportaient aucun fait nouveau. Le recourant se fondait sur un rapport du docteur I._ (Revue de médecine vertébrale, 2001), pour conclure que l'appréciation du docteur G._ reposait sur une erreur de méthode et omettait l'élucidation des causes possibles de son état, soit une inflammation et/ou un dysfonctionnement des voies de la douleur. Enfin, celui-ci produisait une lettre de l'Hôpital Y._ du 16 janvier 2006 relative à un séjour pour une décompensation diabétique (diabète type 2) et une lettre du même Hôpital du 21 février 2006 pour un séjour en raison d'une crise d'asthme dans le cadre d'une bronchopneumopathie chronique obstructive (BPCO) décompensée. Selon l'assuré, les activités encore exigibles telles que définies par l'office AI n'étaient pas adaptées à son état, lequel justifiait l'octroi d'une rente.
Dans leur appréciation des preuves, les premiers juges ont exposé dans le jugement attaqué que les expertises des 30 juin 2003 et 5 mars 2004 se complétaient et qu'elles avaient pleine valeur probante. Le recourant le conteste en ce qui concerne l'expertise psychiatrique du 5 mars 2004. Ainsi qu'on va le voir, ses griefs ne sont toutefois pas fondés.
4.4.1 Il n'appartient pas au Tribunal fédéral de se prononcer sur l'aptitude professionnelle du docteur S._, membre de la Fédération des médecins suisses (FMH) et titulaire du titre de spécialiste FMH en psychiatrie et en psychothérapie, qui dispose des qualifications nécessaires pour pratiquer son art et effectuer des expertises médicales (arrêt [du Tribunal fédéral des assurances] I 702/02 du 19 mars 2003 consid. 3.2). Bien que cet arrêt soit antérieur à l'expertise psychiatrique du 5 mars 2004, il n'y a aucune raison qu'il en aille autrement dans le cas particulier, le docteur S._ n'ayant pas fait l'objet entre-temps d'une procédure de retrait de l'autorisation de pratiquer.
4.4.2 La durée de l'examen clinique du 29 janvier 2004 effectué par le docteur S._ ne saurait remettre en question la valeur de son travail. Le rôle d'un expert consiste notamment à se faire une idée sur l'état de santé d'un assuré dans un délai relativement bref (arrêt I 1084/06 du 26 novembre 2007 consid. 4). Dans le jugement incident du 16 janvier 2007, la juridiction cantonale a relevé que la précision de l'anamnèse, du vécu et des constatations était patente, étalée sur plusieurs pages. Elle a admis que l'expertise retenait tous les éléments déterminants en droit, concernant le status psychique, ce qui n'est pas discuté par le recourant. Au vrai, le rapport d'expertise du 5 mars 2004 démontre que l'expert mis en oeuvre par l'administration s'est consacré de manière approfondie et appropriée à la personne du recourant. A cet égard, l'anamnèse détaillée et la discussion circonstanciée au plan psychiatrique ne recèlent aucune trace de partialité du docteur S._ face au recourant ou d'élément qui permettrait de la soupçonner.
4.4.3 Le fait que la psychologue-psychothérapeute A._ n'a pas vu personnellement le recourant, mais qu'elle a apposé sa signature sur la dernière page du rapport du 5 mars 2004, n'infirme pas non plus la valeur probante de l'expertise psychiatrique. Ainsi que l'ont relevé également les premiers juges dans le jugement incident du 16 janvier 2007, son rôle s'est limité à l'interprétation des tests psychométriques. Même si elle n'a pas vu l'assuré, elle a co-signé le rapport, la mention entre parenthèses des tests psychométriques sous sa signature signifiant que sa mission s'était limitée à leur interprétation.
4.4.4 Le recourant entend contester la valeur probante des tests psychométriques qui ont été effectués - soit le Hamilton 17 (dépression), le Beck 13 (dépression), le questionnaire de Penn State (anxiété généralisée) et le SCL-90R (symptom check-list). Il fait valoir que le Hamilton 17 est un acte médical et que le docteur S._ n'a pas procédé aux constatations impliquées par ce test, pas plus que la psychologue-psychothérapeute A._.
Pour autant qu'on puisse comprendre le recourant, on ne voit pas cependant, en quoi ce grief serait susceptible de remettre en cause la valeur probante de ce test, qui, comme les autres tests psychométriques, ont été effectués en serbo-croate. D'autant moins que la synthèse des tests psychométriques figurant sous ch. 3.2 du rapport du 5 mars 2004 n'est même pas discutée par le recourant. Ses critiques portent sur la rubrique relative à l'examen clinique du 29 janvier 2004 (ch. 3.4 du rapport), dont il ressort que le contact s'était établi de manière agréable avec l'assuré, qualifié de "volontiers un peu roublard" par l'expert, dont le recourant entend mettre en doute l'impartialité dans la mesure où le terme de roublard suppose une volonté de dissimulation et de tromperie. Toutefois, le moyen tiré de l'apparence de prévention doit en tout état de cause être considéré comme tardif, étant donné que l'assuré invoque un motif de récusation qu'il aurait pu faire valoir en procédure administrative et qu'il ne peut plus s'en prévaloir de bonne foi devant une instance judiciaire.
4.5 Il n'appartient pas au Tribunal fédéral, dont le pouvoir d'examen est limité par la loi (supra, consid. 3.1), de procéder une nouvelle fois à l'appréciation des preuves en ce qui concerne l'atteinte à la santé au plan psychiatrique. Les premiers juges, se fondant sur les critères jurisprudentiels (ATF 125 V 351 consid. 3a p. 352) qui permettent de reconnaître aux rapports médicaux pleine valeur probante, ont admis qu'ils étaient réalisés en ce qui concerne l'expertise psychiatrique du 5 mars 2004. Au regard de ce document, il n'apparaît pas que la juridiction cantonale, en retenant que le trouble somatoforme douloureux n'avait pas d'incidence sur la capacité de travail du recourant dès lors qu'il ne saurait être invalidant en l'absence de comorbidité psychiatrique, ait constaté les faits de façon manifestement inexacte. Cette constatation de fait n'a pas non plus été établie en violation du droit, l'appréciation anticipée des preuves - à laquelle le principe de l'égalité des armes ne fait pas obstacle (ATF 125 I 127 consid. 6c/cc p. 135 et les références) - effectuée par la juridiction cantonale au plan psychiatrique n'étant ni arbitraire (ATF 130 II 425 consid. 2.1 p. 428 s., 124 I 208 consid. 4a p. 211), ni contraire à l'art. 6 § 1 CEDH. Le recours est mal fondé sur ce point.
4.6 Au plan somatique, les premiers juges se sont fondés essentiellement sur le rapport du docteur G._ du 30 juin 2003, dont ils ont retenu le diagnostic de trouble somatoforme douloureux sous la forme de rachialgies chroniques avec irradiations pseudo-radiculaires au membre inférieur gauche, douleurs du membre supérieur gauche et paresthésies associées, et la conclusion fixant la capacité de travail exigible à 75 % dans une activité adaptée en tenant compte de la diminution de rendement. Ils ont relevé que cette expertise était avantageusement complétée par les autres éléments médicaux versés à la cause.
Les arguments du recourant ne font pas apparaître les constatations de fait ci-dessus de la juridiction cantonale comme manifestement inexactes. L'article de I._ sur le modèle cartésien n'a aucune valeur probante en ce qui concerne l'atteinte à la santé de l'assuré et sa capacité de travail dans le cas d'espèce. Quant aux documents établis par le docteur R._, ils sont antérieurs au rapport du docteur G._ du 30 juin 2003, dont il résulte du jugement attaqué qu'ils n'apportent aucun fait nouveau qui aurait été ignoré dans le cadre de l'expertise. Ainsi que cela ressort de la page 2 du rapport du 30 juin 2003, le docteur G._ a tenu compte non seulement des conclusions du docteur R._ dans son rapport du 5 juin 2001, mais aussi de celles des médecins de l'Hôpital Y._ dans leur rapport du 24 octobre 2000 et de la doctoresse T._ dans son rapport du 31 juillet 2001. Enfin, les premiers juges ont considéré que l'avis de l'expert l'emportait sur celui du docteur B._, médecin traitant (cf. le rapport du 3 décembre 2002). Cette appréciation n'est pas contraire au droit fédéral (supra, consid. 3.2).
5. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 28 avril 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner