Faits:
A.
Au cours de l'instruction de la demande de prestations de l'assurance-invalidité déposée par M._, l'Office cantonal AI du Valais a rendu une décision, le 24 avril 2013, par laquelle il a rejeté la requête d'assistance gratuite d'un conseil juridique pour la procédure administrative, également présentée par l'assurée.
B.
M._ a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal valaisan. Elle a demandé à être mise au bénéfice de l'assistance judiciaire pour la procédure cantonale.
Par décision du 6 août 2013 (cause S3 13 27), la Présidente de la Cour des assurances sociales a rejeté la requête d'assistance judiciaire, au motif que les chances de succès du recours de l'intéressée étaient manifestement plus faibles que le risque de ne pas avoir gain de cause. A la même date, la Cour des assurances sociales a rejeté le recours formé contre la décision administrative du 24 avril 2013 (cause S3 13 26).
C.
Par écriture du 12 septembre 2013, M._ interjette un recours en matière de droit public contre les deux décisions du 6 août 2013. En ce qui concerne la décision portant sur le refus de l'assistance judiciaire en procédure cantonale, elle conclut à son annulation et à ce que l'assistance judiciaire gratuite lui soit octroyée pour la procédure devant la juridiction cantonale. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire en procédure fédérale.
Le Tribunal cantonal valaisan a renoncé à se déterminer.
D.
Dans la procédure ayant pour objet la décision du 6 août 2013 relative au refus de l'assistance gratuite d'un conseil juridique dans la procédure administrative (cause 9C_627/2013), le Tribunal fédéral a refusé, par ordonnance de ce jour, la requête d'assistance judiciaire pour la procédure fédérale.

Considérant en droit:
1.
Par la décision entreprise, notifiée séparément, la Présidente de la Cour des assurances sociales du Tribunal cantonal valaisan a refusé à la recourante le droit à l'assistance judiciaire pour la procédure judiciaire cantonale (art. 61 let. f LPGA) portant sur le droit de l'intéressée à l'assistance gratuite d'un conseil juridique pour la procédure administrative (<ref-law>). Le refus de l'assistance judiciaire pour la procédure de recours cantonale constitue une décision incidente susceptible de causer un préjudice irréparable au sens de l'<ref-law>, de sorte qu'elle peut faire l'objet d'un recours immédiat au Tribunal fédéral (voir par exemple arrêts 8C_530/2008 du 25 septembre 2008 consid. 2.3 [SVR 2009 UV n o 12 p. 49] et 9C_196/2012 du 20 avril 2012). Les autres conditions de recevabilité étant par ailleurs remplies (notamment l'exigence que le litige au fond soit également susceptible d'être déféré au Tribunal fédéral par un recours en matière de droit public, cf. <ref-ruling> consid. 3 p. 144), il y a lieu d'entrer en matière sur le recours.
2.
Dans la partie de son écriture consacrée à la remise en cause de la décision de refus de l'assistance judiciaire pour la procédure de recours cantonale, la recourante invoque une violation des art. 61 let. f LPGA et 29 al. 3 Cst., ainsi que l'application arbitraire du droit cantonal. Elle reproche à la juridiction cantonale de n'avoir pas, dans un premier temps, statué sur les chances de succès de son recours et, partant, sur l'octroi de l'assistance judiciaire en procédure cantonale, avant de se prononcer (dans un deuxième temps) sur le fond du litige.
2.1. Selon l'art. 29 al. 3 Cst., toute personne qui ne dispose pas de ressources suffisantes a droit à l'assistance judiciaire gratuite, à moins que sa cause ne paraisse dépourvue de toutes chances de succès; elle a droit aussi à l'assistance gratuite d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert. L'assistance judiciaire consiste à rendre possible également à la personne indigente l'accès aux tribunaux et la défense convenable de ses droits de partie (<ref-ruling> consid. 3.1 p. 355; <ref-ruling> consid. 3d p. 16). Dans le domaine des assurances sociales, le droit à l'assistance judiciaire en procédure cantonale est expressément inscrit à l'art. 61 let. f LPGA. Selon cette disposition, le droit de se faire assister par un conseil doit être garanti; lorsque les circonstances le justifient, l'assistance judiciaire gratuite est accordée à la partie recourante. Les conditions d'octroi en sont réalisées si le requérant est indigent, l'assistance d'un avocat est nécessaire ou du moins indiquée et les conclusions du recours ne paraissent pas d'emblée vouées à l'échec (<ref-ruling> consid. 5b p. 372 et les références).
Le droit valaisan reprend ces mêmes critères à l'art. 2 de la loi sur l'assistance judiciaire (LAJ/VS; RS/VS 177.7), selon lequel une personne a droit à l'assistance judiciaire si elle ne dispose pas de ressources suffisantes et si sa cause ne paraît pas dépourvue de toute chance de succès.
2.2. En se plaignant de ce que la décision d'assistance judiciaire n'aurait pas dû être rendue en même temps que la décision sur le fond la recourante ne démontre pas en quoi la manière de procéder de la juridiction cantonale contreviendrait au droit, singulièrement serait entachée d'arbitraire. Excepté pour certains cas très particuliers dans lesquels des démarches procédurales doivent encore être entreprises, la pratique consistant à statuer sur l'assistance judiciaire en même temps que sur le fond est généralement admise (arrêts 8C_911/2011 du 4 juillet 2012 consid. 6.1; 2D_3/2011 du 20 avril 2011 consid. 2.4; 9C_463/2009 du 8 juillet 2009 consid. 3.3.2 et 3.3.3; 4P.300/2005 du 15 décembre 2005 consid. 3.1). C'est par ailleurs ainsi que procède généralement le Tribunal fédéral (cf. Corboz, in Commentaire de la LTF, 2009 n° 67 ad <ref-law>). L'autorité cantonale de recours n'a en l'occurrence ordonné aucune démarche procédurale particulière qui aurait requis l'intervention du mandataire de la recourante, en dehors de l'usuel échange d'écritures dans la cause principale. Sa pratique ne saurait dès lors être qualifiée d'arbitraire.
Dans la mesure où la recourante soutient encore que son recours ne paraissait pas dénué de chances de succès du fait principalement qu'un autre assureur (apparemment l'assureur perte de gain) lui aurait accordé l'assistance juridique gratuite, son argumentation tombe à faux. Il s'agit d'une procédure distincte de celle qui oppose la recourante à l'Office cantonal AI du Valais et qui ne porte pas sur les mêmes prétentions. L'évaluation des chances de succès des démarches de la recourante en procédure cantonale devait donc en tout état de cause être examinée de manière indépendante par le juge cantonal au regard de l'objet du litige porté devant lui.
En conséquence, les griefs de la recourante sont mal fondés et son recours doit, partant, être rejeté.
3.
Vu l'issue de la procédure, la recourante devrait en supporter les frais (<ref-law>). Sa demande d'assistance judiciaire pour la procédure fédérale doit par ailleurs être rejetée, dès lors que ses conclusions étaient d'emblée dénuées de chances de succès (<ref-law>). Compte tenu des circonstances, il convient cependant de renoncer à percevoir des frais judiciaires (art. 66 al. 1 in fine LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée dans la mesure où elle n'est pas sans objet.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties, à l'Office cantonal AI du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 14 janvier 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless