Faits:
A. A.a M._, né en 1963, a travaillé en qualité de chef de rayon au service de l'entreprise X._. Dès le 5 mai 1995, il a été mis à l'arrêt de travail par son médecin traitant, le docteur C._. Le 3 novembre 1995, il a présenté une demande de prestations de l'assurance-invalidité, que l'Office de l'assurance-invalidité pour le canton de Vaud a rejetée par décision du 19 décembre 2001. Sur recours, le Tribunal des assurances du canton de Vaud, par jugement du 26 février 2003, a confirmé cette décision. Par arrêt du 30 septembre 2003, le Tribunal fédéral des assurances a rejeté le recours que l'assuré a formé contre ce jugement.
A.b Le 6 avril 2004, M._ a présenté derechef une demande de prestations de l'assurance-invalidité, sur laquelle l'Office de l'assurance-invalidité pour le canton de Vaud, par décision du 3 février 2005, a refusé d'entrer en matière. Celui-ci a formé opposition contre cette décision. Le 30 janvier 2006, l'office AI, relevant qu'il était en fait entré en matière sur la nouvelle demande et qu'il convenait dès lors de se prononcer sur le droit de l'assuré à une rente d'invalidité, a annulé la décision du 3 février 2005 et rendu en lieu et place de celle-ci une décision de refus de rente. M._ a formé un recours contre cette décision, que le Tribunal des assurances du canton de Vaud a rejeté par jugement du 18 mai 2006, et un recours contre ce jugement, que le Tribunal fédéral a rejeté par arrêt du 29 août 2007.
A.c Le 23 janvier 2008, M._ a présenté une nouvelle demande de prestations de l'assurance-invalidité. Le 29 janvier 2008, l'Office de l'assurance-invalidité pour le canton de Vaud lui a imparti un délai de trente jours pour produire un rapport médical, en l'invitant à établir de façon plausible que son invalidité s'était modifiée de manière à influencer ses droits. Dans un préavis du 11 mars 2008, il a informé l'assuré qu'il refusait d'entrer en matière sur la nouvelle demande, lequel, par lettre du 22 avril 2008 où il faisait part à l'office AI de ses observations, a produit un rapport du 21 avril 2008 du docteur F._, spécialiste FMH en médecine physique et réhabilitation et spécialiste de la colonne vertébrale.
Le 13 mai 2008, l'office AI a avisé M._ qu'il entrait en matière sur la nouvelle demande. Dans un rapport du 21 mai 2008, le docteur C._ a fait état d'une péjoration des lombosciatalgies et de l'apparition de céphalées en casque. Le 14 octobre 2008, il a produit un rapport du 19 octobre 2007 du docteur R._, spécialiste FMH en neurologie, qui indiquait que le patient souffrait de céphalées tensionnelles et que le kyste arachnoïdien de la fosse postérieure gauche mis en évidence par une IRM cérébrale n'entraînait pas de modification de la perméabilité du système ventriculaire (examen du 6 septembre 2007) et qu'il s'agissait d'une découverte banale et fortuite ne jouant aucun rôle dans la genèse de la symptomatologie douloureuse. Dans un rapport du 10 août 2008, le docteur F._ a posé les diagnostics avec effet sur la capacité de travail de céphalées en casque [dans un contexte de kyste arachnoïdien de la fosse postérieure gauche, acouphènes et cervico-scapulalgies sur souffrances algodysfonctionnelles et tensionnelles], de lombosciatalgie bilatérale chronique, sans signe irritatif neurogène [dans un contexte de status après fracture du plateau supérieur L1-L2, séquelle de maladie de Scheuermann et spondylodiscarthroses L4-L5 et L5-S1] et de réaction anxio-dépressive réactionnelle. Relevant que le pronostic restait sombre vu l'apparition de céphalées dans un contexte d'altération structurelle neuroradiologique et qu'une réinsertion professionnelle n'entrait pas en ligne de compte, il concluait à une incapacité de travail de 100 % depuis 2000 dans l'activité exercée jusque-là, laquelle n'était plus exigible.
Dans un avis du 23 octobre 2008, le docteur O._, médecin SMR, a conclu qu'il n'y avait en fait pas d'aggravation qui puisse entrer dans le cadre d'affection médicale incapacitante au sens de l'assurance-invalidité, qu'il s'agissait de douleurs (céphalées de tension, cervico-dorsalgies de tension) qui entraient dans le cadre du trouble somatoforme connu de longue date et que l'aspect dépressif réactionnel n'était également pas incapacitant car il était réactionnel, ne faisait l'objet ni d'un traitement médicamenteux spécifique ni de prise en charge spécialisée. Dans un préavis du 17 août 2009, l'office AI a informé M._ qu'une capacité de travail entière pouvait raisonnablement être exigée de lui dans n'importe quelle activité tant sur le plan somatique que psychiatrique et qu'il n'avait pas droit à des prestations de l'assurance-invalidité. Par lettre du 11 septembre 2009, l'assuré, produisant un certificat médical du docteur C._ du 4 septembre 2009 qui indiquait que l'intensité des douleurs avait plutôt tendance à augmenter et que le patient avait développé un diabète insulinodépendant, a fait part à l'office AI de ses observations. Dans un avis du 21 décembre 2009, le docteur O._ a relevé que ce document n'apportait pas d'élément médical nouveau susceptible de modifier l'exigibilité retenue en 2008. Par décision du 15 janvier 2010, l'office AI, tout en s'exprimant dans un courrier séparé daté du même jour sur les observations de M._, a rejeté la demande pour les motifs exposés dans son préavis du 17 août 2009.
B. Le 10 février 2010, M._ a formé recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, en concluant, sous suite de dépens, à ce que la décision entreprise du 15 janvier 2010 soit annulée et à ce que son droit à des prestations de l'assurance-invalidité soit reconnu, le dossier étant renvoyé à l'office AI en vue de prendre les mesures adéquates. Il sollicitait la mise en oeuvre d'une expertise médicale.
Par arrêt du 24 novembre 2010, la juridiction cantonale a rejeté le recours.
C. M._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de dépens, à ce que le dossier soit retourné à la juridiction cantonale pour qu'elle statue dans le sens des considérants.
Considérant en droit:
1. 1.1 Le recours peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant ainsi limité ni par les arguments du recourant, ni par la motivation de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p.140). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF). Il examine sur la base des griefs soulevés dans le recours si le jugement entrepris viole (notamment) le droit fédéral dans l'application des règles pertinentes du droit matériel et de preuve (art. 95 let. a LTF) y compris une éventuelle constatation des faits manifestement inexacte ou en violation du droit (art. 97 al. 1, art. 105 al. 2 LTF).
1.2 Les principes relatifs au pouvoir d'examen développés dans l'ATF 132 V 393 consid. 3 p. 397 s. continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application du droit par cette dernière (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité - dans la mesure où elle dépend d'une évaluation de la personne concrète, de son état de santé et de ses capacités fonctionnelles - relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398). Ces principes s'appliquent également en ce qui concerne la question de savoir si la capacité de travail, respectivement l'incapacité de travail, de l'assuré s'est modifiée d'une manière déterminante sous l'angle de la révision au cours d'une certaine période (par exemple arrêts 9C_739/2010 du 1er juin 2011, 9C_413/2008 du 14 novembre 2008 et 9C_270/2008 du 12 août 2008).
2. Le litige a trait au droit du recourant à une rente d'invalidité et porte sur le point de savoir si l'atteinte à la santé qu'il présente et ses conséquences sur la capacité de travail ont subi un changement important, singulièrement si le taux d'invalidité fondant le droit à la prestation a subi une modification notable.
2.1 Lorsque, comme en l'espèce, l'administration entre en matière sur la nouvelle demande, elle doit examiner l'affaire au fond, et vérifier que la modification du degré d'invalidité ou de l'impotence rendue plausible par l'assuré est réellement intervenue. Elle doit par conséquent procéder de la même manière qu'en cas de révision au sens de l'art. 17 LPGA (cf. ATF 130 V 71). Le jugement entrepris expose correctement la règle relative à la révision du droit à une rente d'invalidité (art. 17 al. 1 LPGA) et les principes jurisprudentiels applicables, de sorte que l'on peut y renvoyer.
Ainsi que l'a relevé la juridiction cantonale, le point de savoir si un changement important des circonstances s'est produit doit être tranché en comparant les faits tels qu'ils se présentaient au moment de la décision (sur opposition) de refus de rente du 30 janvier 2006 et les circonstances régnant à l'époque de la décision litigieuse du 15 janvier 2010 (ATF 133 V 108 consid. 5 p. 110 s.).
2.2 Les règles et principes jurisprudentiels sur la valeur probante d'un rapport médical (ATF 134 V 231 consid. 5.1 p. 232, 125 V 351 consid. 3a p. 352) sont exposés de manière correcte dans le jugement entrepris, auquel on peut ainsi renvoyer.
Bien que les rapports d'examen réalisés par un SMR en vertu de l'art. 49 al. 2 RAI ne soient pas des expertises au sens de l'art. 44 LPGA et ne soient pas soumis aux mêmes exigences formelles (ATF 135 V 254 consid. 3.4 p. 258), ils peuvent néanmoins revêtir la même valeur probatoire que des expertises, dans la mesure où ils satisfont aux exigences, définies par la jurisprudence, qui sont posées à une expertise médicale (arrêt 9C_204/2009 du 6 juillet 2009 consid. 3.3.2 et les références, passage non publié in ATF 135 V 254). Même en tenant compte de la jurisprudence récente de la Cour européenne des droits de l'homme, il n'existe pas, dans la procédure d'octroi ou de refus de prestations d'assurances sociales, de droit formel à une expertise menée par un médecin externe à l'assurance (ATF 135 V 465 consid. 4.3 p. 468). Il convient toutefois d'ordonner une telle expertise si des doutes, même faibles, subsistent quant à la fiabilité et à la pertinence des constatations médicales effectuées par le service médical interne de l'assurance (ATF 135 V 465 consid. 4.6 p. 471).
3. La juridiction cantonale a retenu qu'en l'absence de complications médicalement avérées, le diabète insulinodépendant récemment apparu n'était pas de nature à interférer sur la capacité de travail du recourant. Relevant que les docteurs C._ et F._ n'avaient nullement fait état d'éléments médicaux objectifs attestant du caractère invalidant des lombosciatalgies bilatérales chroniques et des céphalées en casque, elle a nié que ces atteintes à la santé puissent être considérées comme étant des causes d'une aggravation notable de l'état de santé pendant la période déterminante. Enfin, en ce qui concerne la réaction anxio-dépressive diagnostiquée par le docteur F._, l'autorité précédente a constaté qu'outre le défaut d'éléments médicaux objectifs, l'absence de tout traitement (médicamenteux) ou suivi psychiatrique prodigués était de nature à démontrer, au degré de la vraisemblance prépondérante, que ce diagnostic ne pouvait être retenu comme invalidant au sens de l'assurance-invalidité.
3.1 Le recourant, invoquant une aggravation de son état général, fait valoir que l'apparition de fortes céphalées et d'un diabète insulinodépendant joue très certainement un rôle important sur le psychisme déjà affaibli qui est le sien. Il allègue que les certificats des docteurs C._, F._ et R._ font apparaître un doute quant à la fiabilité et à la pertinence de l'avis du docteur O._, qui ne saurait être qualifié d'expertise d'autant moins que ce médecin ne l'a jamais examiné et que les avis des 23 octobre 2008 et 21 décembre 2009 ont été établis par le service médical interne de l'office AI, doute qui était suffisant pour que soit mise en oeuvre une expertise pluridisciplinaire.
3.2 Il convient de relever que dans ses avis des 23 octobre 2008 et 21 décembre 2009, le docteur O._ n'a pas procédé à un examen médical sur la personne du recourant selon l'art. 49 al. 2 première phrase RAI, que ces avis médicaux ne sont pas des expertises au sens de l'art. 44 LPGA et qu'ils ne sont pas non plus soumis aux mêmes exigences formelles (supra, consid. 2.2).
3.3 Pour autant, le recourant ne se trouve pas dans la situation de l'arrêt ATF 135 V 465 consid. 4.6 p. 471, contrairement à ce qu'il laisse entendre. En effet, ainsi que l'a relevé la juridiction cantonale, le certificat du docteur C._ du 4 septembre 2009 est vague du point de vue médical, attendu qu'il n'énonce ni les causes ni même les effets objectifs du diabète sur la santé du recourant. Ce document, que l'autorité précédente a considéré comme n'étant pas suffisamment probant, ne laisse pas subsister de doutes, même faibles, quant à la fiabilité et à la pertinence des conclusions du docteur O._ dans son avis du 21 décembre 2009, selon lesquelles le diabète insulinodépendant récemment apparu ne saurait, en l'absence de complications avérées, engendrer de diminution de la capacité de travail. Du reste, les conclusions de ce médecin ne sont pas remises en cause par le recourant, dont les affirmations à propos du rôle important qu'aurait joué l'apparition du diabète insulinodépendant sur le psychisme déjà affaibli qui est le sien ne font pas apparaître les constatations de la juridiction cantonale, selon lesquelles en l'absence de complications médicalement avérées le diabète insulinodépendant récemment apparu n'est pas de nature à interférer sur la capacité de travail du recourant, comme manifestement inexactes ou arbitraires. Le recours est mal fondé de ce chef.
3.4 La juridiction cantonale, se fondant sur l'avis du docteur O._ du 23 octobre 2008, a relevé que les docteurs C._ et F._ ne faisaient nullement état d'éléments médicaux objectifs attestant du caractère invalidant des céphalées en casque et des lombosciatalgies bilatérales chroniques. Du jugement entrepris, il ressort que dans son avis du 23 octobre 2008, le docteur O._ a indiqué que le docteur C._ n'avait pas apporté dans son rapport du 21 mai 2008 les preuves objectives d'une aggravation des lombosciatalgies (par l'examen clinique, la radiologie, etc.) et que le docteur F._ n'avait apporté aucun élément objectif d'aggravation sur le plan locomoteur dans son rapport du 10 août 2008, dont il résultait l'absence de trouble neurologique, que ce soit en lien avec le kyste arachnoïdien ou avec les lombosciatalgies. L'autorité précédente a relevé à ce propos que le constat d'absence de preuves en ce qui concerne une aggravation notable de l'état de santé était illustré en particulier par les constatations du docteur R._ lors des examens des 28 septembre et 17 octobre 2007, consignées dans son rapport du 19 octobre 2007, dont il ressortait que le recourant était atteint de céphalées de tension, lesquelles étaient sous traitement antalgique et myorelaxant, et que le kyste arachnoïdien de la fosse postérieure était une découverte banale et fortuite qui ne jouait aucun rôle dans la genèse de la symptomatologie douloureuse.
Que ce soit le rapport du docteur C._ du 21 mai 2008 et son certificat médical du 4 septembre 2009 ou le rapport du docteur F._ du 10 août 2008, aucun de ces documents ne laisse subsister de doutes, même faibles, quant à la fiabilité et à la pertinence des conclusions du docteur O._ dans son avis du 23 octobre 2008 niant toute aggravation qui puisse entrer dans le cadre d'une affection médicale invalidante au sens de l'assurance-invalidité. L'avis du docteur O._ du 23 octobre 2008 suffisait pour statuer en pleine connaissance de cause, de sorte que la juridiction cantonale pouvait se dispenser d'administrer d'autres preuves (appréciation anticipée des preuves; ATF 136 I 229 consid. 5.3 p. 236, 124 V 90 consid. 4b p. 94, 122 V 157 consid. 1d p. 162). Les affirmations du recourant (supra, consid. 3.1) ne permettent pas de considérer que l'autorité précédente, en niant que les lombosciatalgies bilatérales chroniques et les céphalées en casque puissent être considérées comme étant des causes d'une aggravation notable de l'état de santé pendant la période déterminante, ait établi les faits de façon manifestement inexacte ou en violation du droit. Le recours est également mal fondé de ce chef.
3.5 L'affirmation du recourant faisant état d'un psychisme fragile depuis plusieurs années ne fait pas apparaître les constatations de la juridiction cantonale, selon lesquelles outre le défaut d'éléments médicaux objectifs, l'absence de tout traitement (médicamenteux) ou suivi psychiatrique prodigués était de nature à démontrer, au degré de la vraisemblance prépondérante, que le diagnostic de réaction anxio-dépressive posé par le docteur F._ dans son rapport du 21 avril 2008 ne pouvait être retenu comme invalidant au sens de l'assurance-invalidité, comme manifestement inexactes ou arbitraires. Le recours est mal fondé.
4. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 6 octobre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner