Faits:
A. B._ travaille depuis 1992 à temps partiel en qualité de concierge de l'immeuble où elle réside; elle perçoit à ce titre un salaire mensuel de 730 fr. (feuille de salaire de janvier 2011). Le 18 décembre 1998, la prénommée a requis le versement de prestations complémentaires à l'AVS; dans cette demande, elle a tracé, sous la rubrique "ressources", la ligne relative à un salaire. Depuis le 1er novembre 1998, elle a bénéficié de prestations complémentaires fédérales et cantonales ainsi que d'un subside à l'assurance-maladie.
Dans le cadre d'une révision périodique, le Service des prestations complémentaires cantonales du canton de Genève (SPC) a adressé un questionnaire à l'assurée. Le 3 décembre 2010, cette dernière a mentionné le revenu d'une activité lucrative de 11'482 fr. Par décision du 11 février 2011, le SPC a recalculé le droit aux prestations du 1er avril 2001 au 28 février 2011, en tenant compte notamment du gain de concierge. Un solde en faveur du 63'592 fr. est apparu en faveur du SPC. Le 15 février 2011, le SPC a requis le remboursement de ce montant. L'assurée n'a pas formé opposition.

Le 16 mars 2011, B._ a présenté une demande de remise de son obligation de restituer, en se prévalant de sa situation personnelle critique et de sa bonne foi. Par décision du 4 mai 2011, le SPC a rejeté la demande. Le 1er juin 2011, représentée par Me Vouilloz, avocat à Genève, l'assurée a formé opposition à ladite décision en concluant à une remise partielle de 31'018 fr. 45, au motif que le SPC ne pouvait réclamer que les prestations versées durant les cinq dernières années précédant la demande de restitution (soit la période du 15 février 2006 au 28 février 2011). Le 1er juin 2011, l'assurée a également requis du SPC qu'il reconsidère sa décision de restitution du 15 février 2011 pour le même motif. Par lettre du 3 juin 2011, B._ a demandé au SPC l'assistance juridique pour la procédure d'opposition à la décision du 4 mai 2011, ainsi que pour la procédure de reconsidération de la décision du 15 février 2011.
Le 10 juin 2011, le SPC a rendu trois décisions. Dans la première, il a a rejeté la demande d'assistance juridique au motif que la nécessité de l'assistance d'un avocat n'était pas réalisée, aussi bien dans le cadre de l'opposition à la décision du 4 mai 2011 que dans celui de la demande de reconsidération de la décision du 15 février 2011. Dans la deuxième décision, le SPC a rejeté l'opposition formée contre la décision (du 4 mai 2011) portant sur le refus de la demande de remise de l'obligation de restituer. Dans la troisième, il a refusé d'entrer en matière sur la demande de reconsidération (de la décision du 15 février 2011).
B. B._ a déféré la première décision du 10 juin 2011 à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, en concluant à l'octroi de l'assistance juridique avec effet au 14 mai 2011. Le SPC a conclu au rejet du recours.
Par jugement du 17 août 2011, la juridiction cantonale a admis le recours, annulé la décision du 10 juin 2011, reconnu la nécessité de l'assistance d'un avocat pour les deux procédures administratives (remise et reconsidération), et renvoyé la cause au SPC pour examen des autres conditions de l'assistance juridique et nouvelle décision.
C. Le SPC interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à la confirmation de sa décision de refus d'octroi de l'assistance juridique du 10 juin 2011.
L'intimée a conclu au rejet du recours, avec suite de frais et dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant ainsi limité ni par les arguments du recourant, ni par la motivation de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF). Il examine sur la base des griefs soulevés dans le recours si le jugement entrepris viole (notamment) le droit fédéral dans l'application des règles pertinentes du droit matériel et de preuve (art. 95 let. a LTF) y compris une éventuelle constatation des faits manifestement inexacte ou en violation du droit (art. 97 al. 1, art. 105 al. 2 LTF).
Le recours interjeté céans est formé pour violation du droit fédéral (art. 95 let. a LTF) - incluant les droits fondamentaux - et est dirigé contre une décision rendue en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (art. 82 let. a LTF) sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée.
2. Le litige porte sur le droit de l'intimée à bénéficier de l'assistance gratuite d'un conseil juridique, aussi bien pour la procédure d'opposition contre la décision de refus de remise de l'obligation de restituer (du 4 mai 2011), que pour la procédure de reconsidération de la décision de restitution de prestations (du 15 février 2011).
Les décisions accordant ou refusant l'assistance gratuite d'un conseil juridique sont des décisions d'ordonnancement de la procédure au sens de l'art. 52 al. 1 LPGA (<ref-ruling> consid. 1 p. 155), de sorte qu'elles sont directement attaquables par la voie du recours devant les tribunaux des assurances institués par les cantons (art. 56 al. 1 et 57 LPGA; arrêt 9C_126/2009 du 12 mars 2009). Le jugement attaqué, à teneur duquel la nécessité de l'assistance d'un avocat est admise, constitue une décision incidente, laquelle ne peut être déférée au Tribunal fédéral que si la condition du préjudice irréparable est réalisée (art. 93 al. 1 let. a LTF).
Lorsqu'une administration ou un assureur social sont contraints par le jugement incident à rendre une décision qu'ils estiment contraire au droit et qu'ils ne pourront eux-mêmes pas attaquer, un tel jugement incident peut être attaqué sans attendre le prononcé du jugement final (<ref-ruling> consid. 5.2, 5.2.1 à 5.2.4 p. 483 ss; arrêt 8C_682/2007 du 30 juillet 2008 consid. 1.2.1, partiellement publié aux <ref-ruling>). Cette éventualité est réalisée, car le jugement du 17 août 2011 a un effet contraignant pour le SPC en ce sens que celui-ci doit statuer sur le droit de l'intéressée à l'assistance juridique dans deux procédures (opposition et reconsidération) tout en étant lié quant à l'une des conditions de ce droit, à savoir la nécessité d'un avocat en procédure d'opposition. Dans ces conditions, le jugement incident entraîne manifestement un préjudice irréparable, de sorte que le recours est recevable.
3. 3.1 Dans la procédure administrative en matière d'assurances sociales, l'assistance gratuite d'un conseil juridique est accordée au demandeur lorsque les circonstances l'exigent (art. 37 al. 4 LPGA). La LPGA a ainsi introduit une réglementation légale de l'assistance juridique dans la procédure administrative (<ref-ruling> consid. 3.1 p. 155; UELI KIESER, ATSG-Kommentar, 2ème éd., 2009, n° 25 ad art. 37). La jurisprudence y relative rendue dans le cadre de l'art. 4 aCst. (cf. art. 29 al. 3 Cst.) sur les conditions de l'assistance judiciaire en procédure d'opposition (partie dans le besoin, conclusions non dépourvues de toute chance de succès, assistance objectivement indiquée d'après les circonstances concrètes (<ref-ruling> consid. 2 p. 34 et les références) continue de s'appliquer, conformément à la volonté du législateur (arrêts I 557/04 du 29 novembre 2004 consid. 2.1, publié à la Revue de l'avocat 2005 n° 3 p. 123, et I 386/04 du 12 octobre 2004 consid. 2.1; FF 1999 4242).
3.2 L'assistance par un avocat s'impose uniquement dans les cas exceptionnels où il est fait appel à un avocat parce que des questions de droit ou de fait difficiles rendent son assistance apparemment nécessaire et qu'une assistance par le représentant d'une association, par un assistant social ou d'autres professionnels ou personnes de confiance d'institutions sociales n'entre pas en considération (<ref-ruling> consid. 4.1 p. 201 et les arrêts cités). A cet égard, il y a lieu de tenir compte des circonstances du cas d'espèce, de la particularité des règles de procédure applicables, ainsi que des spécificités de la procédure administrative en cours. En particulier, il faut mentionner, en plus de la complexité des questions de droit et de l'état de fait, les circonstances qui tiennent à la personne concernée, comme sa capacité de s'orienter dans une procédure (arrêt I 557/04 du 29 novembre 2004, consid. 2.2., publié à la Revue de l'avocat 2005 n° 3 p. 123).
La nécessité de l'octroi de l'assistance d'un conseil juridique relève de l'application du droit fédéral, de sorte que le Tribunal fédéral l'examine librement (art. 95 let. a, 106 al. 1 LTF).
3.3 A titre d'exemple, dans l'affaire qui avait donné lieu à l'arrêt 8C_297/2008 du 23 septembre 2008, le SPC avait réclamé à un assuré la restitution de prestations complémentaires perçues en trop durant plusieurs années; il avait aussi refusé d'accorder l'assistance d'un avocat au motif que l'affaire n'était pas suffisamment complexe. Le tribunal cantonal des assurances avait réfuté ce point de vue, car l'intéressé s'exprimait mal en français et était illettré; il avait inféré de ces constatations qu'il n'était pas en mesure de saisir les enjeux de l'affaire, cela d'autant moins que les procédures en matière de prestations complémentaires sont particulièrement complexes en raison des nombreuses décisions rendues successivement dans cette matière. Le Tribunal fédéral avait admis le recours du SPC, considérant en bref que la cause n'était pas particulièrement complexe étant donné que la décision de restitution était accompagnée d'un décompte des prestations allouées, si bien que des personnes comme des représentants d'associations, des assistants sociaux ou encore des spécialistes ou des personnes de confiance oeuvrant au sein d'institutions sociales étaient objectivement en mesure d'assister l'intéressé dans la procédure d'opposition.
4. 4.1 Dans le cadre de l'examen des conditions du droit à un conseil juridique (art. 37 al. 4 LPGA) pour la procédure d'opposition à la décision du 4 mai 2011 portant rejet de la demande de remise de l'obligation de restituer, les premiers juges ont constaté que l'intimée était analphabète, qu'elle vivait seule et qu'elle n'était pas en mesure de comprendre le contenu des décisions du SPC. Ils en ont déduit que l'intimée ne pouvait pas s'orienter seule dans la procédure sans avoir recours à l'aide d'une assistante sociale. Les juges cantonaux ont considéré que le refus du SPC recourant d'accorder l'assistance juridique était incompréhensible puisque, avant de consulter un avocat, l'intimée avait précisément eu recours à l'aide de l'assistante sociale de son quartier et aux conseils de l'Association Trialogue (un réseau de solidarité entre professionnels, chômeurs et retraités avec permanence juridique). Ils ont rappelé que l'intimée avait suivi les avis de l'assistante sociale et de la permanence juridique de Trialogue, lesquels avaient uniquement vérifié si la demande de restitution de prestations était fondée au regard des indications données dans la demande initiale de prestations, sans examiner la question du délai de péremption de l'art. 25 al. 2 LPGA. Dès lors que les personnes consultées n'avaient pas analysé correctement la situation juridique de l'intimée et omis de former opposition à la décision du 15 février 2011 portant sur la restitution d'une somme de 63'592 fr. perçue durant près de dix ans, la juridiction cantonale a admis qu'il était pour le moins spécieux de la part du SPC de prétendre que l'intéressée n'avait pas besoin de recourir à l'aide d'un avocat.
En regard des critères que les premiers juges ont pris en considération, auxquels on peut ajouter l'âge de l'intimée et l'importance du montant dont la restitution est demandée, le jugement attaqué ne viole pas le droit fédéral dans la mesure où il reconnaît à l'intimée le droit de bénéficier d'un conseil juridique à l'occasion de sa demande de remise de l'obligation de restituer. On précisera toutefois que si la prise en compte de ces facteurs peut justifier le droit à un conseil juridique (art. 37 al. 4 LPGA), cela ne signifie pas pour autant, ainsi que le SPC le fait observer à juste titre, que l'intimée ait réellement été mal conseillée, notamment sur la question de la péremption du droit de l'administration de réclamer la restitution des prestations (art. 25 al. 2 LPGA); de même, la reconnaissance du droit à un conseil d'office afin d'assister l'intimée dans ses démarches visant à la remise de son obligation de restituer, ne préjuge nullement du caractère éventuellement erroné de la décision de restitution.
Sur ce point, le recours du SPC est donc infondé.
4.2 La reconsidération d'une décision passée en force qui n'a pas fait l'objet d'un examen par le juge, en l'occurrence celle du 15 février 2011, suppose notamment l'existence d'une erreur manifeste entachant cette décision (cf. art. 53 al. 2 LPGA; UELI KIESER, op. cit., n° 31 et 32 ad art. 53; DAMIEN VALLAT, La nouvelle demande de prestations AI et les autres voies permettant la modification de décisions en force, Berne 2003, p. 393, ch. 2.4). A cet égard, à l'appui de sa demande du 1er juin 2011, l'intimée a soutenu principalement que le recourant avait tenu compte à tort d'un délai de péremption de dix ans au lieu de cinq ans, étendant ainsi le montant des prestations à restituer.
A supposer que le droit à un conseil juridique (art. 37 al. 4 LPGA) puisse s'étendre aux demandes de reconsidération de décisions passées en force (art. 53 al. 2 LPGA), ce qui paraît de prime abord douteux mais qui peut rester indécis, on ne se trouverait de toute manière pas en présence d'une situation qui justifierait la désignation d'un conseil juridique afin de requérir la reconsidération de la décision de restitution du 15 février 2011. En effet, à l'occasion d'un premier examen du dossier, rien ne permet d'admettre que cette décision procédait d'une erreur manifeste dans la mesure où l'administration avait tenu compte d'un délai de péremption de dix ans, ce compte tenu des éventualités envisagées à l'art. 25 al. 2 LPGA, 1ère et 2e phrase.
Sur ce point, le SPC reproche donc à juste aux premiers juges d'avoir accordé l'assistance d'un conseil juridique à l'intimée (art. 37 al. 4 LGPA) dans le cadre de sa demande de reconsidération de la décision de restitution du 15 février 2011. Dans cette mesure, le recours est bien fondé et le jugement attaqué sera réformé.
5. Vu l'issue du procès, les frais de la procédure seront répartis entre les parties (art. 66 al. 1 LTF).
Dans la mesure où elle obtient gain de cause, l'intimée a droit à une indemnité de dépens à charge du recourant (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le ch. 2 du dispositif du jugement de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 17 août 2011, est réformé en ce sens que la demande d'assistance juridique du 3 juin 2011 n'est bien fondée, pour autant que les autres conditions en soient remplies, que dans la mesure où elle concerne l'opposition à la décision du 4 mai 2011.
2. Le ch. 4 du dispositif du jugement de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 17 août 2011, est annulé, la cause est renvoyée à cette autorité afin qu'elle se prononce à nouveau sur le montant des dépens de la procédure cantonale, au regard du sort du procès.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge des parties, par 250 fr. chacune.
4. Le recourant versera à l'intimée la somme de 1'200 fr. (y compris la TVA) à titre de dépens pour la procédure fédérale.
5. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 août 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud