Faits:
A. S._, né en 1959, a exercé l'activité de maçon et oeuvré au service d'une entreprise de nettoyage. Dès le 1er septembre 2000, il a été engagé en qualité de concierge par X._ SA.
Le 15 août 2006, S._ a présenté une demande de prestations de l'assurance-invalidité. Dans un rapport du 29 août 2006, le docteur G._ a posé les diagnostics de lombalgies chroniques non déficitaires, de status post-décompression sélective L5-S1 (pratiquée par le docteur P._ le 5 octobre 2004) pour une dégénérescence discale L5-S1 de type Modic II avec sténose foraminale bilatérale et d'état dépressif modéré existant depuis janvier 2006. Il indiquait que le patient avait présenté une incapacité de travail de 50 % dans la profession de concierge dès le 13 janvier 2006, d'une durée indéterminée. Dans un rapport du 18 avril 2007, la doctoresse L._, spécialiste FMH en médecine interne et rhumatologie et médecin traitant de l'assuré depuis le 22 novembre 2006, a posé les diagnostics ayant des répercussions sur la capacité de travail de lombalgies invalidantes sur discopathies, d'arthrose inter-apophysaire postérieure et de fibrose épidurale. Concluant à une incapacité de travail de 100 % dès le 22 novembre 2006 dans l'activité de concierge, elle signalait un état dépressif sévère. Dans une lettre du 27 juillet 2007, le docteur D._, spécialiste FMH en psychiatrie et psychothérapie, a constaté que la capacité de travail de l'assuré n'était apparemment pas compromise par l'état dépressif, mais plutôt par la problématique rachidienne.
Le 27 juin 2007, X._ SA a résilié les rapports de travail pour le 30 septembre 2007.
L'Office cantonal genevois de l'assurance-invalidité a confié au COMAI une expertise interdisciplinaire, laquelle a été réalisée par les médecins de la Clinique Y._. Dans un rapport d'expertise interdisciplinaire du 23 janvier 2008, comprenant une expertise de l'appareil locomoteur par le docteur U._, spécialiste FMH en rhumatologie, médecine interne et médecine du sport, et une expertise de psychiatrie par la doctoresse I._, spécialiste FMH en psychiatrie et psychothérapie, ces médecins ont posé les diagnostics ayant une répercussion sur la capacité de travail de lombo-pseudo-sciatalgies bilatérales chroniques, de troubles disco-dégénératifs sévères de L5-S1, de status après décompression sélective de L5-S1 et fixation inter-épineuse selon DIAM du même niveau le 5 octobre 2004 et d'épisode dépressif moyen avec syndrome somatique ([CIM-10] F32.11). Ils indiquaient que sur le plan ostéo-articulaire, S._ était limité dans toute activité professionnelle nécessitant la réalisation de travaux lourds, le port de charges supérieures à 10 kg, des mouvements répétitifs en porte-à-faux, des travaux empêchant l'alternance des positions assise et debout ou demandant de longs déplacements en terrain irrégulier, un travail en hauteur ou sur une échelle, la position accroupie ou à genoux, ou encore l'utilisation d'engins vibrants. Sa capacité de travail était nulle dans son ancienne activité de concierge pour des raisons ostéo-articulaires. Dans une activité professionnelle légère respectant les limitations mentionnées ci-dessus, sa capacité de travail était entière, avec une légère diminution de rendement de 20 % pour des raisons ostéo-articulaires, voire de 10 à 15 % d'un point de vue psychiatrique lors des pics de symptomatologie dépressive.
Dans un rapport d'examen SMR du 6 février 2008, le docteur O._ a conclu à une capacité de travail exigible de 100 % dans une activité adaptée, avec une diminution de rendement de 20 %.
L'office AI, dans un préavis du 27 février 2008, a informé S._ qu'il était raisonnablement exigible de sa part qu'il exerce à plein temps une activité plus légère physiquement que celle de concierge, avec un rendement diminué de 20 %, et qu'il présentait une invalidité de 25 % (compte tenu d'un revenu sans invalidité de 63'514 fr. et d'un revenu d'invalide de 47'358 fr. par année), taux ne donnant pas droit à une rente d'invalidité.
Par lettre du 3 mars 2008, S._ a fait part à l'office AI de ses observations.
Par décision du 21 avril 2008, l'office AI, rejetant la demande, a refusé d'allouer à S._ une rente d'invalidité.
B. Le 21 mai 2008, S._ a formé recours contre cette décision devant le Tribunal cantonal des assurances sociales de la République et canton de Genève, en concluant, sous suite de dépens, à son annulation et à l'octroi d'une rente d'invalidité. Produisant copie d'un rapport du 16 mai 2008 de la doctoresse H._, spécialiste FMH en psychiatrie et psychothérapie, et d'une attestation médicale du 16 mai 2008 du docteur G._, il demandait à titre préalable que soient ordonnées la comparution personnelle des parties et l'audition de ces médecins. Il a aussi produit deux rapports des 31 octobre 2007 et 8 juillet 2008 et une lettre du 8 juillet 2008 de la doctoresse L._, un rapport de la doctoresse H._ du 18 juillet 2008 et un rapport de la Clinique Z._ du 22 septembre 2008. Produisant un avis médical SMR du 9 juin 2008, l'Office cantonal genevois de l'assurance-invalidité a conclu au rejet du recours.
Le 2 mars 2009, le Tribunal cantonal des assurances sociales a procédé à l'audition de la doctoresse H._ et entendu les parties en audience de comparution personnelle. A l'issue de celle-ci, il a ordonné l'audition de la doctoresse I._, à laquelle il a procédé le 7 mai 2009 en présence des parties. Par lettre du 28 mai 2009, S._ a déposé ses observations et produit deux écrits de la doctoresse H._ des 4 et 18 mai 2009. Par lettre du 2 juin 2009, l'office AI a maintenu ses conclusions tendant au rejet du recours.
Par arrêt du 2 juillet 2009, le Tribunal cantonal des assurances sociales a admis le recours (ch. 2 du dispositif), annulé la décision de l'Office cantonal genevois de l'assurance-invalidité du 21 avril 2008 (ch. 3 du dispositif), dit que S._ avait droit à une rente entière de l'assurance-invalidité dès le 1er novembre 2007 (ch. 4 du dispositif), condamné l'office AI à lui verser une indemnité de 2'300 fr. à titre de dépens (ch. 5 du dispositif) et mis à sa charge un émolument de 500 fr. (ch. 6 du dispositif).
C. L'Office cantonal genevois de l'assurance-invalidité interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation, à titre subsidiaire au renvoi de la cause à l'administration pour instruction complémentaire et nouvelle décision. Sa requête d'effet suspensif a été admise par ordonnance du 16 novembre 2009.
S._ conclut, sous suite de dépens, au rejet du recours. Dans un préavis du 11 novembre 2009, l'Office fédéral des assurances sociales en propose l'admission.

Considérant en droit:
1. 1.1 Le recours peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant ainsi limité ni par les arguments du recourant, ni par la motivation de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p.140). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law> et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>). Il examine sur la base des griefs soulevés dans le recours si le jugement entrepris viole (notamment) le droit fédéral dans l'application des règles pertinentes du droit matériel et de preuve (<ref-law>) y compris une éventuelle constatation des faits manifestement inexacte ou en violation du droit (art. 97 al. 1, art. 105 al. 2 LTF).
1.2 Les principes relatifs au pouvoir d'examen développés dans l'<ref-ruling> consid. 3 p. 397 s. (en relation avec l'art. 132 OJ dans sa version en vigueur du 1er juillet au 31 décembre 2006) continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application qu'elle fait du droit (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité - dans la mesure où elle dépend d'une évaluation de la personne concrète, de son état de santé et de ses capacités fonctionnelles - relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398). Dans la mesure cependant où il en va de l'évaluation de l'exigibilité d'une activité professionnelle au regard de l'expérience de la vie, il s'agit d'une question de droit qui peut être examinée librement en instance fédérale.
2. Le litige porte sur le droit de l'intimé à des prestations de l'assurance-invalidité. Plus particulièrement, il s'agit de savoir si, comme l'ont retenu les premiers juges, celui-ci peut prétendre une rente entière d'invalidité à partir du 1er novembre 2007, en raison d'une atteinte à la santé entraînant une incapacité de travail et de gain justifiant une telle prestation. La décision administrative attaquée étant du 21 avril 2008, l'examen judiciaire au plan temporel est limité à cette date.
2.1 Le jugement attaqué expose correctement les dispositions légales relatives aux notions d'incapacité de gain (<ref-law> jusqu'au 31 décembre 2007; art. 7 al. 1 et 2 LPGA depuis le 1er janvier 2008) et d'invalidité (<ref-law> et <ref-law>), les règles régissant l'évaluation de l'invalidité des assurés exerçant une activité lucrative (<ref-law> en corrélation avec l'<ref-law> jusqu'au 31 décembre 2007 et avec l'<ref-law> depuis le 1er janvier 2008) et les principes jurisprudentiels en ce qui concerne la valeur probante d'un rapport médical (<ref-ruling> consid. 3a p. 352). On peut ainsi y renvoyer.
Les atteintes à la santé psychique peuvent, comme les atteintes physiques, provoquer une invalidité au sens de l'<ref-law>. On ne considère pas comme des conséquences d'un état psychique maladif, donc pas comme des affections à prendre en charge par l'assurance-invalidité, les diminutions de la capacité de gain que l'assuré pourrait empêcher en faisant preuve de bonne volonté; la mesure de ce qui est exigible doit être déterminée aussi objectivement que possible. Il faut donc établir si et dans quelle mesure un assuré peut, malgré son infirmité mentale, exercer une activité que le marché du travail équilibré lui offre, compte tenu de ses aptitudes. Ainsi une atteinte à la santé psychique ne conduit à une incapacité de gain (<ref-law>), que si l'on peut admettre que la mise à profit de la capacité de travail (<ref-law>) ne peut, en pratique, plus être raisonnablement exigée de l'assuré (<ref-ruling> consid. 7.1.1 p. 211; <ref-ruling>; cf. aussi <ref-ruling> consid. 4c p. 298).
2.2 En cas de divergence d'opinion entre experts et médecins traitants, il n'est pas, de manière générale, nécessaire de mettre en oeuvre une nouvelle expertise. La valeur probante des rapports médicaux des uns et des autres doit bien plutôt s'apprécier au regard des critères jurisprudentiels (<ref-ruling> consid. 3a p. 352) qui permettent de leur reconnaître pleine valeur probante. A cet égard, il convient de rappeler qu'au vu de la divergence consacrée par la jurisprudence entre un mandat thérapeutique et un mandat d'expertise (<ref-ruling> consid. 4 p. 175; arrêt I 514/06 du 25 mai 2007 consid. 2.2.1, in SVR 2008 IV Nr. 15 p. 43), on ne saurait remettre en cause une expertise ordonnée par l'administration ou le juge et procéder à de nouvelles investigations du seul fait qu'un ou plusieurs médecins traitants ont une opinion contradictoire. Il n'en va différemment que si ces médecins traitants font état d'éléments objectivement vérifiables ayant été ignorés dans le cadre de l'expertise et qui sont suffisamment pertinents pour remettre en cause les conclusions de l'expert.
3. Les premiers juges ont considéré que le rapport d'expertise interdisciplinaire du 23 janvier 2008 avait pleine valeur probante sur le plan somatique et qu'il n'y avait pas lieu de s'écarter de l'appréciation de l'expert en rhumatologie, laquelle n'était pas vraiment mise en cause par les docteurs G._ et L._, mais qu'ils ne sauraient sur le plan psychiatrique se fonder sur l'expertise interdisciplinaire attendu que la doctoresse I._, lors de l'audition du 7 mai 2009, était revenue sur son expertise de psychiatrie dans une mesure non négligeable. En effet, celle-ci avait déclaré que ce qui l'avait frappée en ce qui concerne l'intimé était que s'il le pouvait, il ferait tout ce qu'il peut pour travailler, mais qu'il ne le pouvait pas. Au vu de cette déclaration, le Tribunal cantonal des assurances sociales s'est déclaré convaincu de l'incapacité de travail complète de ce dernier dans toute activité, sans avoir à quantifier avec exactitude le degré de l'état dépressif, celui-ci étant quoi qu'il en soit important et attesté médicalement de manière suffisante, vu qu'il y avait convergence entre l'avis de la doctoresse I._ et celui de la doctoresse H._.
3.1 De l'audition du 7 mai 2009, il ressort que la doctoresse I._ a procédé à un examen clinique le 2 novembre 2007, que l'évaluation des critères de l'état dépressif s'est faite sur la période de quinze jours avant l'expertise, qu'elle est parvenue à la conclusion d'un état dépressif moyen en raison du nombre de critères retenus (CIM-10), soit deux critères majeurs et cinq critères mineurs, et que l'intimé ne réalisait pas le troisième critère majeur de la fatigabilité entrant en ligne de compte lorsqu'une personne est sans énergie. Invitée à s'exprimer sur l'état de fatigue de l'assuré évoqué par la doctoresse H._ lors de l'audition du 2 mars 2009 et mentionné par le docteur U._ dans l'expertise de l'appareil locomoteur, la doctoresse I._ a déclaré qu'elle n'avait pas souvenir qu'il ait indiqué devoir dormir plusieurs heures l'après-midi. En revanche, elle avait retenu une sensation d'abattement d'origine morale, sans que le manque d'énergie rende impossible les activités de la vie ordinaire, la fatigue étant plutôt ici un abattement réactionnel à l'état somatique. La fatigue physique était certaine, notamment s'agissant du dos. L'intimé avait un état dépressif moyen, de sorte qu'il y avait forcément une perte d'énergie, laquelle n'était toutefois pas suffisante pour réaliser les critères d'un état dépressif grave. Quant au score sur l'échelle de Hamilton, de 24 au moment de l'expertise, il correspondait à une dépression modérée, laquelle était certes élevée dans le cadre de la fourchette d'une dépression moyenne. Ainsi que le relève l'OFAS dans son préavis, aucun élément nouveau, qui devait être connu au moment de l'examen clinique du 2 novembre 2007, ne ressort de l'audition du 7 mai 2009 en ce qui concerne l'épisode dépressif moyen avec syndrome somatique (F32.11) diagnostiqué par la doctoresse I._.
3.2 De l'audition du 7 mai 2009, il ressort également que la doctoresse I._, relevant que l'évolution favorable escomptée lors de l'expertise ne s'était pas produite, a affirmé ce qui suit: «Concrètement, il faudrait en revenir à une baisse de rendement sur le plan psychiatrique de 10 à 15 %, comme indiqué dans mon expertise». Cela est décisif sous l'angle de l'exigibilité (<ref-law>; <ref-ruling> consid. 3.2 p. 398) et les premiers juges ne pouvaient en faire abstraction. Dans l'expertise du 23 janvier 2008, la doctoresse I._ avait indiqué que sur le plan psychique, le taux de travail serait théoriquement de 100 % dans une activité adaptée, que lors des pics de symptomatologie dépressive (épisode dépressif moyen en cours), le rendement pourrait être abaissé de 10 à 15 % environ, que ces symptômes étaient médicalement rémissibles sous traitement approprié et que cette baisse de rendement ne serait donc pas durable. Lors de l'audition du 7 mai 2009, la doctoresse I._ est revenue sur la baisse de rendement de 10 à 15 % sur le plan psychiatrique, au motif qu'elle est de caractère durable puisque l'évolution favorable escomptée lors de l'expertise ne s'est pas produite.
Il n'y a aucune contradiction de la part de la doctoresse I._ à déclarer lors de l'audition du 7 mai 2009 qu'il était clair pour elle «que la pathologie physique particulièrement grave expliquait majoritairement l'incapacité de travail; ainsi, l'appréciation synthétique de l'incapacité de travail sous l'angle dépressif avait été sous-estimée, car habituellement, pour un état dépressif moyen, il faut retenir une incapacité de travail de 50 à 100 % durant les quatre à huit semaines suivant le début d'un traitement approprié. Si l'incapacité de travail sur le plan physique n'avait pas été aussi importante, les conclusions du rapport auraient révélé plus clairement l'incapacité de travail liée à l'aspect dépressif». En effet, la doctoresse I._ n'a fait que reprendre la discussion globale menée par les experts du COMAI, à laquelle il y a lieu de s'attacher (arrêts [du Tribunal fédéral des assurances] I 16/05 du 13 mars 2006 et I 228/04 du 4 juillet 2005). Les conclusions des experts du COMAI sur la capacité de travail de l'intimé dans une activité adaptée sont dûment motivées et le rapport d'expertise interdisciplinaire du 23 janvier 2008 a donc pleine valeur probante (<ref-ruling> consid. 3a p. 352; <ref-ruling> consid. 1c p. 160 et les références).
Sur le vu du rapport d'expertise interdisciplinaire du 23 janvier 2008, du rapport d'examen SMR du 6 février 2008 et de l'avis de la doctoresse I._ du 7 mai 2009 considérant qu'il y a baisse de rendement de 10 à 15 % de manière durable sur le plan psychiatrique, il apparaît que les premiers juges, en retenant que l'intimé présentait sur ce plan-là une incapacité de travail complète dans toute activité, ont établi les faits de façon manifestement inexacte. Il ne saurait y avoir convergence entre l'avis de la doctoresse H._, qui ne s'est pas exprimée lors de l'audition du 2 mars 2009 sur la capacité de travail de l'assuré dans une activité adaptée, et l'avis ci-dessus de la doctoresse I._. Aucun des médecins traitants de l'intimé n'a fait état d'éléments objectivement vérifiables qui auraient été ignorés dans le cadre de l'expertise interdisciplinaire du 23 janvier 2008 et qui soient suffisamment pertinents pour remettre en cause les conclusions des experts du COMAI en ce qui concerne la capacité de travail dans une activité adaptée (supra, consid. 2.2). La mise en oeuvre d'une nouvelle expertise n'est ainsi pas nécessaire. Il convient dès lors de retenir qu'au moment déterminant, soit lors de la décision de refus de rente du 21 avril 2008, l'intimé présentait une capacité de travail exigible de 100 % dans une activité adaptée, avec une diminution de rendement globale de 30 à 35 % de manière durable, en raison des atteintes ostéo-articulaires (20 %) et psychiatrique (10 - 15 %).
3.3 Dès lors, le calcul du revenu d'invalide doit être effectué en tenant compte de la pleine capacité de travail de l'intimé dans une activité adaptée, avec une diminution de rendement globale de 30 à 35 %. Il se justifie, comme l'a fait l'office AI, de calculer le revenu d'invalide en se fondant sur les données statistiques, soit un salaire annuel de 59'197 fr. Au regard de la fourchette retenue pour la diminution de rendement, il n'y a pas lieu à une réduction supplémentaire (<ref-ruling> consid. 5b/aa-cc p. 79). Si l'on tient compte d'une diminution de rendement de 30 %, le revenu d'invalide qui en résulte est de 41'438 fr. par année (valeur 2007) et la comparaison des revenus, compte tenu d'un revenu sans invalidité de 63'514 fr. par année (valeur 2007), donne une invalidité de 35 % ([63'514 fr. - 41'438 fr.] x 100 : 63'514 fr), le taux de 34,7 % étant arrondi au pour cent supérieur. Dans l'éventualité la plus favorable pour l'intimé, soit une diminution de rendement de 35 % et un revenu d'invalide de 38'478 fr. par année (valeur 2007), l'invalidité pourrait être de 39 % ([63514 fr. - 38'478 fr.] x 100 : 63'514 fr.), le taux de 39,4 % étant arrondi au pour cent inférieur (<ref-ruling> consid. 3.2 p. 122 s.; SVR 2004 UV Nr. 12 p. 44), taux ne conférant aucun droit à une rente d'invalidité. D'un autre côté, lorsqu'un rapport médical indique l'incapacité de travail sous la forme d'une fourchette (par exemple 30 - 35 %), il convient en règle générale de se fonder sur la valeur moyenne, soit 32,5 % dans notre exemple (arrêt [du Tribunal fédéral des assurances] I 822/04 du 21 avril 2005 consid. 4.4; MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2e éd., 2010, p. 352). Le recours est bien fondé.
4. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimé, qui succombe (<ref-law>). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement du Tribunal cantonal des assurances sociales de la République et canton de Genève, du 2 juillet 2009, est annulé.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances sociales de la République et canton de Genève, Chambre 8, et à l'Office fédéral des assurances sociales.
Lucerne, le 11 juin 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner