Faits :
A.
Par décision du 22 janvier 2019, l'Office cantonal AI du Valais (ci-après: l'office AI) a refusé d'allouer toutes prestations de l'assurance-invalidité à A._.
Représentée par M e Marie Franzetti, avocate à U._, A._ a déféré cette décision au Tribunal cantonal du Valais, Cour des assurances sociales. Elle a présenté une demande d'assistance judiciaire. Par jugement du 21 août 2019, la juridiction cantonale a admis partiellement le recours, annulé la décision du 22 janvier 2019 et renvoyé le dossier à l'office AI pour instruction médicale complémentaire au sens des considérants (ch. 1 du dispositif), mis les frais par 200 fr. à charge de l'office AI (ch. 2), et condamné ce dernier à verser à A._ une indemnité de 1800 fr. pour ses dépens (ch. 3).
Agissant en son propre nom, M e Marie Franzetti a interjeté un recours en matière de droit public contre ce jugement, en contestant notamment le montant de l'indemnité de dépens. Laissant ouverte la question de la qualité de M e Marie Franzetti pour recourir, le Tribunal fédéral a déclaré le recours irrecevable par arrêt du 7 octobre 2019 (9C_632/2019), dès lors que la décision incidente attaquée ne causait aucun préjudice irréparable (cf. <ref-law>).
B.
Par décision du 25 juin 2020, l'office AI a alloué à A._ une rente entière d'invalidité à partir du 1 er juin 2018.
C.
Le 31 août 2020, la prénommée interjette un recours en matière de droit public contre le jugement du 21 août 2019, dont elle demande l'annulation du ch. 3 du dispositif. A titre principal, elle conclut à ce qu'une indemnité de dépens de 6671 fr. lui soit allouée pour la procédure de recours cantonale et qu'une facture de 600 fr. relative à un consilium médical soit mise à la charge de l'office AI. A titre subsidiaire, elle demande qu'une partie de l'activité que son avocate a déployée lui soit remboursée, réduisant ainsi l'indemnité de dépens obtenue à 5779 fr. Plus subsidiairement, elle conclut au renvoi de la cause au tribunal cantonal pour nouvelle décision. Elle sollicite le bénéfice de l'assistance judiciaire. M e Marie Franzetti déclare agir subsidiairement en son nom propre.
L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
La recourante a encore présenté des observations.

Considérant en droit :
1.
1.1. Lorsque l'autorité précédant le Tribunal fédéral, dans le cadre d'un arrêt de renvoi, statue sur les frais de la procédure, il s'agit d'une décision incidente, qui ne tombe pas sous le coup de l'<ref-law> (préjudice irréparable). Si la nouvelle décision rendue par l'instance inférieure sur la base de l'arrêt de renvoi n'est plus contestée sur le fond, le mode de calcul des frais effectué dans l'arrêt de renvoi peut, à la suite de cette nouvelle décision, être attaqué directement auprès du Tribunal fédéral dans le délai de recours de l'<ref-law>. La date de notification de la nouvelle décision rendue par l'instance inférieure est déterminante pour la computation dudit délai (<ref-ruling>).
La décision de l'office AI du 25 juin 2020, qui n'a pas été contestée sur le fond, a été envoyée sous simple pli (courrier B) à sa destinataire qui l'a réceptionnée le 30 juin suivant. En déposant son recours au Tribunal fédéral le 31 août 2020 contre la fixation des dépens effectuée dans le jugement de renvoi du 21 août 2019, la recourante a agi en temps utile.
1.2. L'assurée qui a obtenu gain de cause en procédure cantonale a droit à des dépens en vertu de l'art. 61 let. g LPGA, ce qui a rendu sa demande d'assistance judiciaire sans objet. Le droit aux dépens appartient à la recourante et non à son avocate, si bien que la première a seule qualité pour en contester le montant (cf. arrêt 9C_47/2021 du 18 mars 2021 consid. 2 et les références). Il s'ensuit que le recours de l'assurée et recevable, alors que la conclusion subsidiaire que M e Marie Franzetti a prise en son nom propre devient sans objet.
2.
2.1. Le litige porte sur le montant de l'indemnité de dépens accordée à la recourante dans le jugement du 21 août 2019 (ch. 3 du dispositif).
2.2. Aux termes de l'<ref-law>, les frais de l'instruction sont pris en charge par l'assureur qui a ordonné les mesures. A défaut, l'assureur rembourse les frais occasionnés par les mesures indispensables à l'appréciation du cas ou comprises dans les prestations accordées ultérieurement. Selon la jurisprudence, les frais d'expertise font partie des frais de procédure (arrêt 8C_61/2016 du 19 décembre 2016 consid. 6.1 et les arrêts cités, in SVR 2017 n° 19 p. 63). Les frais d'expertise privée peuvent être inclus dans les dépens mis à la charge de l'assureur social lorsque cette expertise était nécessaire à la résolution du litige (<ref-ruling> consid. 5c; arrêts 8C_61/2016 précité consid. 6.1 in fine; 8C_354/2015 du 13 octobre 2015 consid. 6.1 et les arrêts cités, in SVR UV n° 24 p. 75).
Selon l'art. 61 let. g LPGA, le recourant qui obtient gain de cause a droit au remboursement de ses frais et dépens dans la mesure fixée par le tribunal; leur montant est déterminé sans égard à la valeur litigieuse d'après l'importance et la complexité du litige. Pour le reste, la fixation du montant de l'indemnité de dépens ressortit au droit cantonal (art. 61 première phrase LPGA; arrêt 9C_714/2018 du 18 décembre 2018 consid. 9.2 non publié in <ref-ruling>). Le Tribunal fédéral ne peut cependant revoir les questions de droit cantonal que sous l'angle restreint de l'arbitraire, dans le cadre d'un moyen pris de la violation d'un droit constitutionnel (cf. art. 95 et 96 LTF, a contrario), expressément soulevé et développé avec la précision requise à l'<ref-law> (<ref-ruling> consid. 2.3; <ref-ruling> consid. 1.2.1).
3.
Pour la juridiction cantonale, la recourante a obtenu gain de cause en raison du renvoi de la cause à l'administration, ce qui justifie l'octroi de dépens en sa faveur (art. 61 let. g LPGA) à charge de l'intimé (art. 81a al. 2 et 91 al. 1 et 2 a contrario de la loi cantonale valaisanne du 6 octobre 1976 sur la procédure et la juridiction administrative [LPJA, RSV 172.6]). Retenant que "Me Franzetti a produit in casu un mémoire de recours et une détermination bien étayés, ainsi que des rapports médicaux mettant en évidence les troubles dont souffre l'assurée", elle a fixé les dépens à 1800 fr. débours et TVA compris en vertu des art. 4 al. 1, 27 al. 1 et 5, 29 al. 3 et 40 de la loi cantonale valaisanne du 11 février 2009 fixant le tarif des frais et dépens devant les autorités judiciaires ou administratives (LTar, RSV 173.8).
La recourante invoque une violation de son droit d'être entendue (art. 29 al. 2 Cst.), car la juridiction cantonale a fixé le montant des dépens sans lui avoir laissé la possibilité de présenter la note de frais de son avocate. Elle dépose en conséquence cette note de frais en procédure fédérale, à titre de fait nouveau. Par ailleurs, la recourante soutient que le montant des dépens accordés relève de l'arbitraire, car il ne tient pas compte de l'activité accomplie, ni de l'importance et de la complexité du litige. Elle se réfère à ses déterminations du 17 juin 2019, où elle exposait aux juges cantonaux que son avocate avait dû déployer un travail conséquent et expressément demandé de prendre la mesure de cette activité. En ce qui concerne le consilium effectué par le docteur B._ (cf. rapport du 12 juin 2019), pour lequel ce médecin lui a adressé une facture de 600 fr., elle soutient que l'indemnité accordée n'englobe pas le remboursement des frais qu'elle a dû engager alors que ceux-ci auraient dû être assumés par l'assureur, conformément à l'<ref-law>, comme elle l'avait requis en instance cantonale. En outre, elle se plaint du fait que l'indemnité de 1800 fr. ne tienne pas compte des débours de son avocate, soit 565 fr.
Quant à l'intimé, il qualifie le rapport du 12 juin 2019 de pertinent pour l'issue de la procédure sur le droit aux prestations. Il rejette toutefois le grief d'absence d'instruction de sa part qui lui est adressé, relevant que l'établissement hospitalier interpellé ne lui avait pas fourni tous les documents médicaux en sa possession.
4.
4.1. Dans ses déterminations du 20 août 2019 déposées en instance cantonale, l'office intimé avait conclu à l'admission du recours et au renvoi de la cause pour mise en oeuvre d'une expertise psychiatrique, compte tenu du rapport du docteur B._ du 12 juin 2019 qui mettait en évidence un trouble de l'humeur et un possible trouble de la personnalité. Adhérant à ce point de vue, la juridiction cantonale lui avait renvoyé la cause afin de compléter l'instruction.
Les frais engagés par la recourante se sont avérés pleinement justifiés, car cette démarche auprès du docteur B._ a permis de mettre à jour un point lacunaire de l'instruction d'office (cf. <ref-law>). Puisque cet avis médical était nécessaire à la résolution du litige, ces frais, que la recourante fait valoir à hauteur de 600 fr., devaient en conséquence être pris en considération par le tribunal cantonal, au titre de frais liés à un avis médical pertinent et mis à la charge de l'assureur social comme dépens. A défaut d'indication sur les frais relatifs à la documentation médicale produite par la recourante en instance cantonale, il ne ressort pas du jugement attaqué si les coûts du rapport du docteur B._ ont été inclus dans l'indemnité de dépens de 1800 fr., ou s'ils ont été omis.
4.2. Quoi qu'il en soit, si l'on retranche de l'indemnité de 1800 fr. le montant de 600 fr. invoqué par la recourante pour l'avis du docteur B._, le reliquat de dépens se monterait à 1200 fr., voire seulement à 635 fr. pour le cas où le montant des débours revendiqués, soit 565 fr., devait finalement s'avérer fondé. Or une indemnité de 1200 fr. voire de 635 fr. allouée pour les honoraires du conseil de la recourante apparaît arbitraire (cf. art. 9 Cst.) au regard de l'ampleur du travail objectivement nécessaire qui a été accompli par M e Marie Franzetti. En effet, si l'on tient compte du temps nécessaire pour l'étude du dossier, de la rédaction d'un recours puis d'une réplique, qualifiés de bien étayés par la juridiction cantonale, celui-ci est assurément plus important que quatre heures trente de travail, au tarif horaire de 270 fr. invoqué par la recourante.
4.3. Pour ce seul motif, sans examen du grief tiré de la violation de l'art. 29 al. 2 Cst., il sied de retourner la cause à la juridiction cantonale afin qu'elle se prononce à nouveau sur les frais, dépens et débours de la recourante pour la procédure cantonale. Il sera laissé à la recourante l'occasion de se déterminer plus précisément sur le travail de son avocate, laquelle pourra soumettre au tribunal cantonal la note de frais qu'elle n'a pas eu la possibilité de lui présenter puisqu'il a rendu la décision de renvoi le jour même où les déterminations de l'intimé lui étaient parvenues, en clôturant par là l'échange d'écritures.
Vu l'issue du litige, la recevabilité de la note de frais de M e Marie Franzetti en procédure fédérale peut rester ouverte (cf. <ref-law>).
5.
L'intimé, qui succombe, supportera les frais de procédure (<ref-law>) ainsi que les dépens de la recourante (<ref-law>). La requête d'assistance judiciaire (<ref-law>) n'a dès lors plus d'objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis en ce sens que le ch. 3 du dispositif du jugement du Tribunal cantonal du Valais, Cour des assurances sociales, du 21 août 2019, est annulé, la cause étant renvoyée audit tribunal pour nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera une indemnité de dépens de 2800 fr. à la recourante pour la procédure fédérale.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 6 mai 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud