Faits: A. I._, né en 1947, originaire de Serbie, a travaillé en Suisse en qualité de maçon, en dernier lieu dès le 18 avril 1994 au service de l'entreprise X._, à S._. A l'arrêt de travail à partir du 10 décembre 2002, il a présenté le 4 novembre 2003 une demande de prestations de l'assurance-invalidité. Le docteur J._, médecin de la Permanence médicale Y._ et médecin traitant de l'assuré depuis le 12 février 2003, a produit un rapport médical du 27 novembre 2003, dans lequel il attestait une incapacité de travail de 100 % dans l'activité de maçon depuis le 10 décembre 2002, d'une durée indéterminée. Dans un rapport médical du 16 avril 2004, le docteur V._, médecin traitant de l'assuré depuis le 28 avril 2003, a retenu les diagnostics ayant des répercussions sur la capacité de travail d'épisode dépressif moyen avec syndrome somatique et d'affaiblissement intellectuel débutant, tout en évoquant aussi des problèmes somatiques. Sur requête de son Service médical régional, l'Office cantonal de l'assurance-invalidité de Genève a confié une expertise au COMAI de Genève. Le 23 août 2005, les médecins ont procédé à un examen clinique. Le 6 septembre 2005, le docteur D._, spécialiste FMH en médecine physique et réadaptation-rhumatologie, a effectué un examen rhumatologique. Le 20 septembre 2005, la doctoresse E._, spécialiste FMH en psychiatrie, a effectué un examen psychiatrique. Dans un rapport d'expertise interdisciplinaire du 21 décembre 2005, les médecins du Centre d'expertise médicale ont posé les diagnostics avec répercussion sur la capacité de travail de syndrome douloureux somatoforme persistant ([CIM-10] F45.4) et de trouble panique (anxiété épisodique paroxystique [F41.0]). Ils indiquaient que pour autant que l'assuré n'ait à soulever ni à transporter de charge lourde, la capacité de travail était réduite à l'heure actuelle à 50 % pour des raisons psychiatriques. Dans un avis médical du 13 février 2006, les médecins du SMR ont conclu que I._ ne souffrait d'aucune atteinte à la santé au sens de la LAI et que sa capacité de travail était entière dans la profession antérieure. Ils ont constaté que les diagnostics posés dans le rapport d'expertise du 21 décembre 2005 ne pouvaient être retenus, dès lors que les critères nécessaires et requis à leur établissement, codifiés dans la CIM-10, n'étaient pas présents. Par décision du 22 mars 2006, l'office AI, rejetant la demande, a refusé toutes prestations. Il avisait I._ que le diagnostic de syndrome douloureux somatoforme persistant ne saurait être retenu, étant donné que les critères nécessaires pour poser ce diagnostic n'étaient pas présents dans le rapport d'expertise. Par ailleurs, l'assuré ne présentait pas d'atteinte psychique depuis son dernier jour de travail. En conséquence, sa capacité de travail était entière dans l'activité habituelle de maçon. Les 3 avril et 8 mai 2006, I._ a formé opposition contre cette décision. Dans un avis médical du 12 juin 2006, les médecins du SMR ont constaté qu'aucune des pièces versées au dossier depuis leur avis médical du 13 février 2006 n'était susceptible de modifier leur appréciation du cas. Par décision du 8 août 2006, l'office AI a rejeté l'opposition. B. Statuant sur le recours formé par I._ contre cette décision, le Tribunal cantonal des assurances sociales de la République et canton de Genève, par jugement du 2 mai 2007, l'a partiellement admis en ce sens que, se ralliant aux conclusions des experts du COMAI dans leur rapport du 21 décembre 2005, il a retenu que l'assuré présentait un trouble psychique limitant sa capacité de travail à 50 % dans une activité légère. Annulant les décisions des 22 mars et 8 août 2006, il a renvoyé la cause à l'office AI pour instruction complémentaire dans le sens des considérants et nouvelle décision, afin qu'il procède à l'évaluation de l'invalidité de l'assuré et fixe le montant de la rente. C. L'Office cantonal de l'assurance-invalidité de Genève interjette un recours en matière de droit public contre ce jugement, en concluant à l'annulation de celui-ci. Il demande que la décision sur opposition du 8 août 2006 et la décision de refus de prestations du 22 mars 2006 soient confirmées. I._ conclut, sous suite de frais et dépens, au rejet du recours. Dans son préavis, l'Office fédéral des assurances sociales propose l'admission du recours.