Faits :
A.
A._, née en 1983, a déposé une demande de prestations de l'assurance-invalidité en septembre 2011, que l'Office cantonal AI du Valais a rejetée par décision du 18 avril 2013.
Le 3 octobre 2016, l'assurée a déposé une nouvelle demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Vaud (ci-après: l'office AI), que ce dernier a rejetée par décision du 3 juin 2019. Par arrêt du 13 août 2020, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a admis le recours de l'assurée, annulé cette décision et renvoyé la cause à l'office AI afin qu'il complète l'instruction sur le plan médical (en relation avec un syndrome d'Ehlers-Danlos hypermobile antérieur à la décision administrative du 3 juin 2019).
Le 19 août 2020, A._ a sollicité de l'office AI l'octroi de l'assistance juridique administrative. Par décision du 7 décembre 2020, l'office AI a rejeté la demande d'assistance juridique gratuite, au motif que le degré de complexité du dossier ne nécessitait pas l'assistance d'un avocat.
B.
A._ a déféré la décision du 7 décembre 2020 à la juridiction cantonale qui l'a déboutée par arrêt du 6 mai 2021. L'assistance judiciaire lui a été accordée pour la procédure cantonale de recours.
C.
A._ interjette un recours en matière de droit public contre cet arrêt dont elle demande l'annulation ainsi que celle de la décision du 7 décembre 2020, en concluant à l'octroi de l'assistance juridique administrative avec effet au 19 août 2020. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le jugement attaqué, qui, comme en l'espèce, porte uniquement sur le refus de l'assistance juridique pour la procédure administrative en matière d'assurances sociales au sens de l'<ref-law>, constitue une décision incidente au sens de l'<ref-law> (<ref-ruling> consid. 2.2).
En l'occurrence, la procédure administrative est encore en cours, de sorte que l'arrêt entrepris est donc susceptible de causer à la recourante un préjudice irréparable au sens de l'<ref-law>. Partant, il convient d'entrer en matière sur le recours.
2.
Saisi d'un recours en matière de droit public (<ref-law>), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (<ref-law>) et statue sur la base des faits retenus par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (<ref-law>). Il examine en principe seulement les griefs motivés (<ref-law>) et ne peut pas aller au-delà des conclusions des parties (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>).
3.
3.1. Le litige a trait au droit de la recourante à l'assistance gratuite d'un conseil juridique dans la procédure administrative conduite par l'office intimé. Il s'agit d'une question de droit que le Tribunal fédéral examine librement (art. 95 let. a et 106 al. 1 LTF; arrêt 9C_13/2020 du 29 octobre 2020 consid. 3.1 et les arrêts cités).
3.2. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs à l'octroi de l'assistance gratuite d'un conseil juridique dans la procédure administrative en matière d'assurances sociales (<ref-law>; <ref-ruling> consid. 4.1; <ref-ruling> consid. 2.2; arrêt 9C_105/2007 du 13 novembre 2007). Il suffit d'y renvoyer.
4.
4.1. La juridiction cantonale a considéré que la recourante avait simplement tenu un discours de portée générale sur les bienfaits présumés de l'assistance d'un avocat en cas de reprise de l'instruction à la suite d'un arrêt de renvoi; la recourante relevait que son avocat avait déjà obtenu des prononcés favorables à la suite de décisions négatives rendues par l'office AI. Les premiers juges ont aussi retenu qu'aucun diagnostic psychique n'avait été mis en évidence et que la capacité de jugement et de prise de décision de la recourante n'était pas altérée. En outre, la cause ne revêtait pas un degré particulier de complexité, malgré le renvoi de la cause à l'intimé pour instruction complémentaire, car il s'agissait de procéder à une nouvelle évaluation du diagnostic d'Ehlers-Danlos susceptible de modifier les limitations fonctionnelles retenues. La question était médicale et aucune question de droit n'avait été mise en évidence; de façon plus large on se trouvait en présence d'un litige portant sur l'évaluation de la capacité de travail et sur le droit à une rente d'invalidité, soit de questions qui se posaient communément dans la plupart des procédures et qui ne comportaient intrinsèquement aucune difficulté particulière. Enfin, la recourante avait démontré qu'elle était capable de gérer de manière autonome la plupart des questions administratives liées à ses demandes de prestations. En définitive, elle n'avait pas mis en évidence de circonstances particulières qui justifiaient une assistance par un avocat, de sorte que le rejet de la demande d'assistance juridique était fondé.
4.2. La recourante fait grief à la cour cantonale d'avoir nié la nécessité de l'assistance gratuite d'un conseil juridique pour la procédure administrative, au sens de l'<ref-law>. A cet égard, elle invoque la perte de temps et les frais supplémentaires qui seraient occasionnés si elle devait consulter un tiers en lieu et place de l'avocat qui avait été désigné en procédure judiciaire de recours. En ce qui concerne sa capacité à s'orienter dans la procédure, elle allègue que la Cour de droit administratif et public du Tribunal cantonal vaudois avait reconnu son droit à bénéficier d'une telle assistance dans le cadre du litige l'opposant au Centre social régional (CSR). Quant à la complexité de la procédure, elle relève notamment que le docteur B._, médecin au Service médical régional de l'assurance-invalidité, avait indiqué qu'elle présente une atteinte à la santé complexe (cf. avis du 2 mars 2020). Elle ajoute que les médecins de l'Hôpital C._ avaient aussi fait état d'un syndrome douloureux chronique complexe (rapport du 5 juin 2018), d'une histoire de douleurs complexes (rapport du 17 décembre 2018), et relevé une anamnèse très complexe (rapport du 31 mars 2020).
5.
5.1. L'arrêt que la Cour de droit administratif et public du Tribunal cantonal vaudois a rendu le 18 juin 2021 dans le litige qui oppose la recourante à la Direction générale de la cohésion sociale n'est d'aucun secours à la recourante. En effet, dans cet arrêt, les conditions d'octroi de l'assistance judiciaire énoncées à l'art. 18 al. 2 de la loi vaudoise sur la procédure administrative du 28 octobre 2008 (RS-VD 173.36) ont été examinées à la lumière du droit à l'assistance judiciaire au sens de l'art. 29 al. 3 Cst. Elles correspondent donc à celles qui sont prévues à l'art. 61 let. f LPGA et non à celles, plus strictes, dont il est question en l'espèce à l'<ref-law>.
5.2. En ce qui concerne le critère de la complexité juridique de l'affaire, la recourante ne met en évidence aucun élément susceptible d'établir la nécessité de l'assistance d'un avocat. En effet, comme les premiers juges l'ont admis à juste titre, le litige porte sur l'évaluation de la capacité de travail et sur le droit à une rente d'invalidité, soit sur des questions qui se posent communément dans de nombreuses procédures en matière d'assurance-invalidité et qui ne comportent en principe pas de difficulté particulière. A cet égard, la recourante se prévaut de la complexité de sa situation. S'il est vrai que, sous l'angle médical, les médecins ont indiqué que l'anamnèse et l'atteinte à la santé étaient complexes, cela ne nécessite pas d'emblée l'assistance d'un avocat d'office. En effet, il incombe en premier lieu à l'administration de prendre d'office les mesures d'instruction nécessaires (cf. <ref-law>), singulièrement de recueillir un avis médical circonstancié permettant aux parties de comprendre une situation médicale (en particulier lorsqu'elle est qualifiée de complexe) et à l'office AI de statuer en connaissance de cause. Certes, à la suite de l'intervention du conseil de l'assurée, la cause a été renvoyée à l'intimé pour un complément d'instruction d'ordre médical. Il ne s'agit toutefois pas d'une expertise pluridisciplinaire susceptible, le cas échéant, de soulever des difficultés d'appréciation. En soi, une mesure d'instruction sous l'angle médical n'implique pas que l'assistance prévue à l'art. 37 al. 4 LGPA doive être accordée systématiquement en cas de renvoi; admettre un automatisme à cet égard reviendrait à renoncer à tout examen de la nécessité. De plus, la recourante ne conteste pas les constatations de la juridiction cantonale selon lesquelles elle a été en mesure de gérer de manière autonome la plupart des questions administratives liées à ses demandes de prestations et de présenter ses arguments. Dans la mesure où elle soutient que sa santé psychique s'est altérée en produisant un rapport du Centre de psychiatrie et psychothérapie D._ du 16 mars 2021, son argumentation est fondée sur une pièce nouvelle qui ne se trouvait pas dans le dossier de la procédure cantonale; il n'y a donc pas lieu d'en tenir compte (cf. <ref-law>).
5.3. Dans ces circonstances, la nécessité de l'assistance d'un avocat pour la procédure administrative n'est pas établie. Le recours est dès lors infondé.
6.
La recourante voit ses conclusions rejetées, de sorte qu'elle doit en principe supporter les frais de justice et ses propres dépens (art. 66 al. 1 et 68 al. 1 LTF). Elle a toutefois déposé une demande d'assistance judiciaire. Dès lors que le recours n'était pas dénué de chances de succès, que l'indigence de la recourante est établie et que l'assistance d'un avocat est justifiée (art. 64 al. 1 et 2 LTF), il convient de lui accorder l'assistance judiciaire. La recourante est toutefois rendue attentive au fait qu'elle devra rembourser la caisse du Tribunal si elle se trouve ultérieurement en mesure de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est accordée et M e Olivier Carré est désigné comme avocat d'office de la recourante.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2800 fr. est allouée à l'avocat de la recourante à titre d'honoraires à payer par la caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 mars 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud