Faits: A. B._ perçoit des prestations complémentaires à l'AVS/AI depuis le mois de mars 1994. Le 25 novembre 1998, il a présenté une demande de rente de vieillesse, dont une copie a été transmise à l'Office cantonal des personnes âgées du canton de Genève (ci-après: l'OCPA). Lors d'une procédure de révision du droit à la prestation complémentaire, l'OCPA a constaté que l'intéressé percevait une rente de vieillesse depuis le 1er février 1999. Aussi, par décision du 17 avril 2007, lui a-t-il réclamé un montant de 25'948 fr. représentant des prestations complémentaires perçues en trop durant la période du 1er mai 2002 au 31 août 2006. L'intéressé, représenté par Me Petitat, a fait opposition à cette décision en requérant le bénéfice de l'assistance juridique pour cette procédure. Par décision du 5 octobre 2007, l'OCPA a rejeté cette opposition. Le même jour, il a rendu une autre décision par laquelle il a rejeté la demande d'assistance juridique, motif pris que celle-ci n'apparaissait pas exigée par les circonstances, du moment que le litige ne nécessitait pas une analyse juridique approfondie. B. B._ a recouru contre les deux décisions du 5 octobre 2007 devant le Tribunal cantonal des assurances sociales du canton de Genève. Par décision du 13 novembre 2007, le vice-président du Tribunal de première instance du canton de Genève a refusé l'assistance judiciaire pour la procédure de recours contre la décision sur opposition, au motif que l'intéressé pouvait assumer le coût de ladite procédure par ses propres moyens. Par jugement du 27 février 2008, le Tribunal cantonal des assurances sociales a admis le recours dont il était saisi et a annulé la décision du 5 octobre 2007 de refus de l'assistance juridique pour la procédure d'opposition. Il a considéré que l'intervention d'un avocat était rendue nécessaire par la complexité de l'affaire et il a renvoyé la cause à l'OCPA pour examen des autres conditions de l'assistance juridique et nouvelle décision au sens des considérants. C. L'OCPA (depuis le 1er mai 2008: le Service des prestations complémentaires [ci-après: le SPC]) interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, en concluant à la confirmation de sa décision de refus de l'assistance juridique du 5 octobre 2007. Par lettre du 3 juin 2008, Me Petitat a informé le Tribunal fédéral qu'il n'assumait plus la défense des intérêts de B._. Par écriture du 26 juin 2008, Me Raphaël Rey, nouveau mandataire de l'intimé, a conclu au rejet du recours sous suite de frais et dépens. L'Office fédéral des assurances sociales (OFAS) a renoncé à présenter des déterminations.