Faits:
A. V._ (né en 1951), ayant subi un quadruple pontage coronarien sur coronaropathie le 5 novembre 1999, suivi d'un infarctus le 4 février 2003, a été licencié par son employeur avec effet au 31 mars 2004 et mis au bénéfice d'une invalidité totale dès le 1er avril 2004 selon le règlement de la Caisse de pensions de la Commune X._, pour laquelle il avait travaillé comme maçon depuis le 1er avril 1981. Il s'est annoncé à l'assurance-invalidité le 7 juillet 2003.
L'Office de l'assurance-invalidité pour le canton de Vaud (OAI) a recueilli de nombreux rapports médicaux (par exemple celui du docteur H._, spécialiste FMH en médecine interne, du 25 juillet 2003), dont sur mandat du Service médical régional de l'AI (SMR) une expertise de la doctoresse T._, spécialiste FMH en cardiologie, du 29 mars 2005, complétée le 7 septembre 2005. Sur requête de la doctoresse M._ (avis médical SMR du 15 septembre 2005), la doctoresse E._, spécialiste FMH en psychiatrie, a procédé le 19 janvier 2006 à un examen psychiatrique. Dans un rapport du 18 avril 2006, elle n'a retenu aucun diagnostic du point de vue psychiatrique avec répercussion sur la capacité de travail. Elle concluait à une capacité de travail exigible de 100 % au plan psychiatrique. Dans un rapport d'examen SMR du 1er mai 2006, la doctoresse M._ a retenu que la capacité de travail exigible était entière dans une activité adaptée dès juillet 2003.
Le 12 décembre 2006, l'OAI a adressé à l'assuré un projet d'acceptation de rente, lui reconnaissant le droit à un quart de rente dès le 1er février 2004, compte tenu d'une invalidité de 40 % dès le 5 février 2004. Dans un rapport du 27 février 2007, le docteur W._, spécialiste FMH en médecine générale, a déposé ses conclusions. Il a répondu par la négative à la question de savoir si l'on pouvait exiger que l'assuré exerce une autre activité (annexe au rapport). Dans un avis médical du 20 avril 2007, les médecins du SMR ont indiqué que ce rapport n'apportait pas d'éléments médicaux nouveaux susceptibles de modifier leurs conclusions. Par décision du 4 juin 2007, l'OAI a alloué à V._ un quart de rente avec effet dès le 1er février 2004.
B. Par jugement du 2 avril 2008, le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal) a rejeté le recours formé par V._ contre cette décision.
C. V._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui est allouée dès le 1er février 2004.
L'Office de l'assurance-invalidité pour le canton de Vaud se rallie au jugement cantonal. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées. A ce défaut, un état de fait divergent de celui de la décision attaquée ne peut être pris en compte (cf. arrêt 6B_2/2007 du 14 mars 2007, consid. 3). La faculté que l'<ref-law> confère au Tribunal fédéral de rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> ne dispense pas le recourant de son obligation d'allégation et de motivation. Il n'incombe pas au Tribunal fédéral de rechercher lui-même dans le dossier si ce dernier pourrait éventuellement contenir des indices d'une inexactitude de l'état de fait de l'autorité précédente. L'<ref-law> trouve application lorsque le Tribunal fédéral, en examinant les griefs soulevés, constate une inexactitude manifeste dans l'état de fait de l'autorité précédente ou lorsque celle-ci saute d'emblée aux yeux (<ref-ruling> consid. 6.2 p. 288; <ref-ruling> consid. 1.4.3 p. 255).
2. Est litigieux le degré d'invalidité, déterminant l'ampleur du droit à la rente d'invalidité du recourant (<ref-law> en liaison avec les art. 4 et 28 al. 1 LAI [dans leur version ici applicable, jusqu'au 31 décembre 2007]), plus particulièrement le taux de l'incapacité de travail dans une activité exigible comme élément essentiel pour le calcul du revenu d'invalide (art. 6, 7 et 16 LPGA).
2.1 Dans la mesure où les premiers juges ont nié une atteinte à la santé psychiatrique invalidante, le jugement attaqué résiste aux griefs soulevés par le recourant. Quoi qu'en dise l'assuré, on ne saurait reprocher à la juridiction cantonale une violation de son droit d'être entendu ou une constatation manifestement inexacte des faits, attendu que l'état anxio-dépressif probable, que la doctoresse T._ qualifie de relativement important dans son expertise du 29 mars 2005 et de probablement important dans son rapport du 3 novembre 2006, ne peut être considéré comme une maladie invalidante qui mériterait des investigations plus approfondies (cf. <ref-ruling> consid. 5a p. 299).
2.2 Sur le plan cardiologique, le Tribunal cantonal s'est référé aux avis formulés par les docteurs H._ et W._, médecins traitants, et le docteur R._, médecin-conseil de la caisse de pensions, d'une part, et, d'autre part, au rapport d'expertise administrative de la doctoresse T._. Sur l'expertise de la cardiologue, les premiers juges se sont ainsi exprimés:
« Les faits établis par la doctoresse T._ sont probants; son opinion ne l'est en revanche pas. On ne voit en effet pas comment une personne ayant un status post-syndrome coronarien stabilisé serait incapable - même partiellement - d'exercer une activité sédentaire adaptée dans une température adéquate (travaux à l'établi par exemple) ».
Cette appréciation des preuves - dépourvue de toute motivation - apparaît dans le contexte du dossier comme insoutenable, voire arbitraire et viole donc le droit fédéral à plusieurs égards. Selon une jurisprudence constante, s'agissant du diagnostic d'une affection médicale et ses répercussions sur les capacités fonctionnelles, le juge ne saurait s'écarter sans motif concluant de l'appréciation d'un expert dont c'est précisément le rôle de mettre ses connaissances spéciales au service de la justice ou, comme c'est le cas ici, de l'administration, pour qualifier médicalement un état de fait déterminé (<ref-ruling> consid. 3 p. 175; voir aussi <ref-ruling> consid. 3b/aa p. 352 s. et les références). Les premiers juges ont perdu de vue que l'expertise de la doctoresse T._ du 29 mars 2005 est le seul document dans le dossier émanant d'un spécialiste en cardiologie. Si les capacités cardiaques sont sensiblement limitées, comme cela ressort de l'expertise de la doctoresse T._ d'une manière probante, confirmée le 7 septembre 2005 (réponse aux médecins du SMR) et le 8 juin 2007 dans une lettre indiquant que "la fonction ventriculaire gauche est actuellement estimée à 45 % sur une akinésie de la paroi inférieure qui est à la limite de l'anévrisme", il n'est pas admissible que l'administration et le juge substituent leur propre appréciation médicale à celle de l'expert spécialisé en la matière. La prise de position de l'expert en procédure administrative sur les capacités fonctionnelles du coeur n'étant contredite par aucun autre avis spécialisé, on ne voit pas de motif valable de s'éloigner de l'estimation exprimée par la doctoresse T._.
3. Cela étant, le revenu avec invalidité doit être calculé en fonction d'une capacité résiduelle de travail exigible de 50 % pour des activités légères et adaptées à l'état de santé du recourant (réponse de la doctoresse T._ du 7 septembre 2005). Les autres éléments de la comparaison des revenus au sens de l'<ref-law> ne souffrent pas de modification. Compte tenu d'un revenu sans invalidité de 81'770 fr. par année et d'un revenu annuel d'invalide de 24'335 fr. (48'670 fr. : 2), la comparaison des revenus ([81'770 - 24'335] x 100 : 81'770) donne une invalidité de 70 % (le taux de 70,23 % étant arrondi au pour cent inférieur [<ref-ruling> consid. 3.2 p. 122 s.; arrêt U 173/02 du 15 janvier 2004, in SVR 2004 UV Nr. 12 p. 44]), taux qui confère un droit à une rente entière (<ref-law>, teneur en vigueur jusqu'au 31 décembre 2007).
4. Vu le sort du litige, l'intimé doit supporter les frais judiciaires (<ref-law>). Le recourant, qui obtient gain de cause, a droit à une indemnité de dépens pour l'instance fédérale (<ref-law>). Il y a lieu d'inviter l'autorité de l'instance inférieure à statuer sur les dépens de cette instance (art. 61 let. g LPGA).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 2 avril 2008 et la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 4 juin 2007 sont annulés. Le recourant a droit à une rente entière d'invalidité depuis le 1er février 2004.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'500 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour la dernière instance.
4. La cause est renvoyée à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud pour nouvelle décision sur les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, à l'Agence communale d'assurances sociales de Lausanne et à l'Office fédéral des assurances sociales.
Lucerne, le 31 mars 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner