Faits:
A. S._, employé de production, a subi un accident de travail (choc du membre supérieur gauche) le 9 septembre 2009. Dans son rapport d'examen final du 3 mars 2011, le docteur E._, médecin d'arrondissement de la CNA, a attesté que l'assuré disposait d'une capacité de travail totale dans une activité de type industriel, moyennant certaines restrictions. Par décision du 26 août 2011, confirmée sur opposition le 18 novembre 2011, la CNA a alloué une rente d'invalidité de 16 %.
Le 9 juillet 2010, S._ a présenté une demande de prestations de l'assurance-invalidité. Dans un projet de décision du 19 mai 2011, l'Office de l'assurance-invalidité du canton de Fribourg a fait savoir à l'assuré qu'il envisageait de refuser le versement d'une rente, compte tenu d'un taux d'invalidité de 16 %. L'assuré a manifesté son opposition au refus de rente, par lettre du 14 juin 2011; plusieurs avis médicaux émanant des docteurs F._ et R._ ont été déposés à cette occasion.
Sur recommandation du Service médical régional BE/FR/SO, (avis de la doctoresse L._, du 19 octobre 2011), qui estimait que les avis médicaux déposés par l'assuré étaient susceptibles d'aboutir à une modification du projet de décision, l'office AI a mis en oeuvre une expertise pluridisciplinaire qu'il a confiée au CEMed à X._ (mandat du 21 novembre 2011). Par lettre du 6 décembre 2011, Me Alain Ribordy, avocat à Fribourg, a demandé que les noms et spécialités des médecins ainsi que la liste des questions posées lui soient communiqués. Il a requis le bénéfice de l'assistance gratuite d'un conseil juridique pour l'assuré et sa désignation en qualité de défenseur d'office dans le cadre de la procédure administrative.
Par décision du 12 décembre 2011, l'office AI a rejeté la requête d'assistance gratuite d'un conseil juridique, au motif que la procédure d'instruction ne présentait pas une complexité telle qu'elle nécessiterait l'intervention d'un avocat.
B. S._ a déféré cette décision au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en concluant à l'octroi de l'assistance gratuite d'un conseil juridique pour la procédure administrative devant l'office AI. Il a soutenu que le cas présentait une grande complexité et que pour être en mesure de participer à l'expertise pluridisciplinaire qui venait d'être ordonnée, l'assistance d'un avocat était manifestement nécessaire.
L'office AI a conclu au rejet du recours. Il a relevé que l'assuré avait formulé seul des objections suffisamment solides et étayées qui avaient abouti à la mise en oeuvre de l'expertise pluridisciplinaire, dans le cadre de laquelle l'avocat n'avait joué aucun rôle, à part s'enquérir de l'identité des experts et de la liste des questions posées.
La juridiction cantonale a rejeté le recours par jugement du 3 mai 2012. Elle a par ailleurs accordé à l'assuré le bénéfice de l'assistance judiciaire pour la procédure de recours.
C. S._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais et dépens, en concluant à ce que l'assistance juridique administrative lui soit accordée à partir du 6 décembre 2011, date de sa première intervention pour la procédure ouverte devant l'office AI. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'intimé et l'Office fédéral des assurances sociales n'ont pas été invités à se déterminer.

Considérant en droit:
1. Le recours peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant ainsi limité ni par les arguments du recourant, ni par la motivation de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law> et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>). Il examine sur la base des griefs soulevés dans le recours si le jugement entrepris viole (notamment) le droit fédéral dans l'application des règles pertinentes du droit matériel et de preuve (<ref-law>) y compris une éventuelle constatation des faits manifestement inexacte ou en violation du droit (art. 97 al. 1, art. 105 al. 2 LTF).
Le recours interjeté céans est formé pour violation du droit fédéral (<ref-law>) - incluant les droits fondamentaux - et est dirigé contre une décision rendue en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée.
2. Le litige porte sur le droit du recourant à bénéficier de l'assistance gratuite d'un conseil juridique, à compter du 6 décembre 2011, dans le cadre de l'instruction de sa demande de prestations de l'assurance-invalidité.
Dans la procédure administrative en matière d'assurances sociales, l'assistance gratuite d'un conseil juridique est accordée au demandeur lorsque les circonstances l'exigent (<ref-law>). La LPGA a ainsi introduit une réglementation légale de l'assistance juridique dans la procédure administrative (<ref-ruling> consid. 3.1 p. 155; UELI KIESER, ATSG-Kommentar, 2ème éd., 2009, n° 25 ad art. 37). La jurisprudence y relative rendue dans le cadre de l'art. 4 aCst. (cf. art. 29 al. 3 Cst.) sur les conditions de l'assistance judiciaire en procédure d'opposition (partie dans le besoin, conclusions non dépourvues de toute chance de succès, assistance objectivement indiquée d'après les circonstances concrètes (<ref-ruling> consid. 2 p. 34 et les références) continue de s'appliquer, conformément à la volonté du législateur (arrêts I 557/04 du 29 novembre 2004 consid. 2.1, publié à la Revue de l'avocat 2005 n° 3 p. 123, et I 386/04 du 12 octobre 2004 consid. 2.1; FF 1999 4242).
L'assistance par un avocat s'impose uniquement dans les cas exceptionnels où il est fait appel à un avocat parce que des questions de droit ou de fait difficiles rendent son assistance apparemment nécessaire et qu'une assistance par le représentant d'une association, par un assistant social ou d'autres professionnels ou personnes de confiance d'institutions sociales n'entre pas en considération (<ref-ruling> consid. 4.1 p. 201 et les arrêts cités). A cet égard, il y a lieu de tenir compte des circonstances du cas d'espèce, de la particularité des règles de procédure applicables, ainsi que des spécificités de la procédure administrative en cours. En particulier, il faut mentionner, en plus de la complexité des questions de droit et de l'état de fait, les circonstances qui tiennent à la personne concernée, comme sa capacité de s'orienter dans une procédure (arrêt I 557/04 du 29 novembre 2004, consid. 2.2., publié à la Revue de l'avocat 2005 n° 3 p. 123).
3. En bref, le tribunal cantonal a constaté que les parties ne s'entendaient pas à propos de l'étendue de la capacité de travail du recourant dans une activité adaptée respectant ses limitations fonctionnelles. Il a considéré que l'affaire ne présentait pas de difficultés particulières, puisqu'il s'agissait principalement de comprendre les rapports médicaux. Cette tâche n'exigeait pas de connaissances juridiques spécifiques dont seul un mandataire professionnel (sous-entendu: un avocat) serait à même de disposer.
Dans ce contexte, les premiers juges ont relevé que les divergences d'opinion entre les médecins, qui avaient conduit l'intimé à mettre une expertise pluridisciplinaire en oeuvre, ne permettait pas de présumer que la situation du recourant était complexe au-delà de l'ordinaire. Par ailleurs, même en admettant que la situation médicale fût complexe, comme le recourant le soutenait, cela ne signifiait pas pour autant que le cas soulevait des questions de droit ou de fait difficiles rendant indispensable l'assistance d'un avocat. En effet, la participation à l'expertise médicale ne requérait pas de connaissances juridiques particulières en droit des assurances sociales, le droit de participer consistant essentiellement à se prononcer sur l'identité et les spécialisations des experts, ainsi qu'à soumettre d'éventuelles questions complémentaires, si bien que son exercice n'en était pas entravé, même en l'absence de connaissances juridiques. La juridiction cantonale a ajouté que le recourant avait pu formuler seul des objections suffisamment solides et étayées qui avaient abouti à la poursuite de l'instruction par la mise en oeuvre d'une expertise pluridisciplinaire, dans le cadre de laquelle l'intervention du mandataire du recourant avait certes contribué à assurer le bon déroulement et à en préciser certaines modalités, mais sans avoir en définitive joué de rôle prépondérant. Dans ces conditions, on ne se trouvait pas en présence de circonstances exceptionnelles rendant objectivement nécessaire l'assistance d'un avocat durant la procédure administrative.
4. Le recourant soutient que son intervention (lettre du 17 janvier 2012) a permis d'intégrer un volet orthopédique à l'expertise (lettre de l'intimé au CEMed du 19 janvier 2012), laquelle ne devait, initialement, comporter que l'examen du cas sous l'angle rhumatologique, neurologique et psychiatrique (mandat d'expertise du 21 novembre 2011, in fine). Il précise qu'il a relancé l'intimé en vue d'obtenir le complément orthopédique (lettre du 5 mars 2012), que les experts n'étaient pas enclins à effectuer (lettre du CEMed du 15 février 2012). Compte tenu de ces péripéties, le recourant estime que l'assistance d'un avocat était nécessaire, d'autant que les premiers juges avaient omis de constater cette intervention.
Par ailleurs, le recourant est d'avis que la jurisprudence récente ne considère plus que l'assistance gratuite d'un conseil juridique serait soumise à des exigences plus sévères en procédure administrative qu'en procédure judiciaire. En se référant à l'opinion de son mandataire (ALAIN RIBORDY, La prise en charge des frais d'avocat, in Droit de la responsabilité civile et des assurances - Liber amicorum Roland Brehm, Berne 2012, p. 369 s.), le recourant soutient que l'assistance doit être accordée dès qu'une situation conflictuelle présente une portée considérable pour un indigent lorsque, comme en l'espèce, les aptitudes nécessaires pour maîtriser la complexité du cas en fait et en droit font défaut.
5. Si l'on devait suivre le raisonnement du recourant, le droit d'être assisté par un avocat d'office en procédure administrative devrait être systématiquement reconnu lorsque que des intérêts importants sont en jeu et qu'un indigent allègue que son cas est complexe. Ce raisonnement ne se concilie toutefois pas avec la lettre et l'esprit de l'<ref-law>, qui pose une exigence accrue, en procédure administrative, aux conditions pouvant justifier la désignation d'un avocat d'office (cf. arrêt 9C_38/2013 du 6 février 2013 consid. 2.2 in fine).
Devant le Tribunal fédéral, il incombe au recourant de démontrer que la présence d'un avocat en procédure administrative est nécessaire en raison de la complexité de l'affaire et d'indiquer en quoi le jugement attaqué viole le droit fédéral en niant pareille nécessité. Pourtant, dans son mémoire (recours, p. 10, ch. 4.2), le recourant énonce essentiellement des considérations d'ordre général qui peuvent s'appliquer à la plupart des procédures concernant l'instruction de demandes de prestations, notamment quant aux difficultés que l'on peut y rencontrer lors de l'administration et de l'appréciation des preuves. Par son discours, le recourant ne remet pas en cause le bien-fondé du jugement attaqué, dès lors qu'il n'expose pas concrètement en quoi le tribunal cantonal aurait apprécié la situation de façon insoutenable en considérant qu'il s'agit principalement de comprendre la portée de rapports médicaux et que l'on ne se trouve pas en présence d'un cas exceptionnel rendant l'assistance d'un avocat objectivement nécessaire. Au surplus, le recourant ne démontre pas non plus que le dossier présenterait des difficultés particulières, que ce soit lors de l'établissement des faits ou de l'application du droit. Comme les juges cantonaux l'ont constaté, son avocat n'a d'ailleurs pas eu de rôle prépondérant dans la mise en oeuvre de l'expertise pluridisciplinaire, celle-ci ayant été ordonnée antérieurement à son intervention. On ajoutera que la requête du recourant (postérieure à la décision administrative litigieuse) visant à faire compléter le mandat d'expertise pluridisciplinaire par un volet orthopédique ne rend pas pour autant le cas suffisamment complexe, au point de devoir nommer un avocat d'office en vertu de l'<ref-law>.
6. Le recours était voué à l'échec, de sorte que l'une des conditions cumulatives de l'octroi de l'assistance judiciaire pour la procédure fédérale n'est pas réalisée (<ref-law>).
Vu les circonstances, il sera renoncé à la perception de frais de procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 février 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Berthoud