Faits:
A. Par décision du 13 juillet 2007, l'Office cantonal AI du Valais (ci-après: l'office AI) a rejeté la demande de prestations de l'assurance-invalidité présentée le 9 juin 2006 par G._. En bref, il a considéré que l'assurée ne présentait pas d'atteinte à la santé invalidante.
B. B.a Saisi d'un recours de G._, le Tribunal cantonal, Cour des assurances sociales, du canton du Valais (ci-après le Tribunal cantonal) l'a rejeté le 14 décembre 2009 et renvoyé la cause à l'office AI "pour examen du droit à une révision afférente à la péjoration alléguée dès juin 2007". Statuant le 23 juin 2010 sur le recours formé par l'assurée contre ce jugement, le Tribunal fédéral l'a admis. Annulant le jugement cantonal, il a renvoyé la cause au Tribunal cantonal pour qu'il mette en oeuvre une expertise judiciaire permettant d'éclaircir la situation médicale de l'intéressée.
B.b Donnant suite à ces instructions, le Tribunal cantonal a confié une expertise au docteur A._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 24 novembre 2010, l'expert a diagnostiqué un syndrome douloureux somatoforme persistant (F45.4) et un trouble panique avec agoraphobie (F40.01) et conclu que ces atteintes n'entraînaient pas d'incapacité de travail.
Invitée par le Tribunal cantonal à se déterminer sur l'expertise, G._ a notamment mis en doute l'indépendance et l'impartialité du docteur A._ (écriture du 15 mars 2011). Par ailleurs, elle a produit de nouveaux avis médicaux, dont celui du docteur E._, médecin responsable auprès des Institutions psychiatriques de X._, adressé le 10 mars 2011 au docteur V._, spécialiste FMH en médecine interne et médecin traitant. A la requête du Tribunal cantonal, le docteur A._ s'est exprimé sur ces pièces médicales, en indiquant qu'elles ne l'amenaient pas à revoir son appréciation (avis du 23 mars 2011). Par détermination du 12 avril 2011, l'assurée a demandé à ce que l'expertise du docteur A._ "soit écartée du dossier pour cause d'impartialité" (recte partialité), en se prévalant d'une lettre que celui-ci lui avait envoyée le 23 mars précédent. Dans cette missive, le docteur A._ s'est référé à une visite de l'assurée dans un laboratoire voisin de son cabinet et au rapport médical du docteur E._ (selon lequel l'assurée avait exprimé son envie de "cogner le psychiatre" qui avait fait l'expertise). Il a indiqué à G._ que s'il ne mettait pas en cause son droit légitime de contester son expertise, il l'informait qu'il prendrait cependant immédiatement "les mesures usuelles auprès des autorités judiciaires" s'il venait à constater que ses propos ou son comportement dépassaient ce qui était autorisé par la loi.
Par jugement du 18 mai 2011, le Tribunal cantonal a rejeté le recours. En substance, il a rejeté le grief de partialité invoqué par l'intéressée à l'égard du docteur A._, faute d'indice de prévention de la part de celui-ci. Il a par ailleurs considéré que l'assurée ne souffrait pas d'une atteinte à la santé incapacitante, de sorte qu'elle ne pouvait prétendre des prestations de l'assurance-invalidité.
C. Agissant par la voie du recours en matière de droit public, G._ demande au Tribunal fédéral d'annuler le jugement cantonal. Sous suite de frais et dépens, elle conclut à ce que l'expertise du docteur A._ soit écartée du dossier "pour cause d'impartialité" (recte partialité) et à la mise en oeuvre d'une nouvelle expertise. Elle requiert au préalable, comme en instance cantonale, l'édition du nombre de mandats confiés au docteur A._ par l'office AI, ainsi que du montant annuel de la rémunération versé par celui-ci. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. G._ s'est exprimée le 26 septembre 2011 sur l'écriture de l'administration.
Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation de l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 254 s.).
2. En premier lieu, la recourante invoque une appréciation arbitraire des preuves et la violation du droit fédéral, singulièrement de l'art. 9 Cst.
Ce grief, qui fait explicitement référence à l'art. 9 Cst., doit, en tant qu'il porte sur la violation d'un droit fondamental, remplir les conditions d'allégation et de motivation plus restrictives de l'art. 106 al. 2 LTF (ATF 134 II 193 consid. 1.5 p. 196 sv.; 133 III 393 consid. 6 p. 397). En l'espèce, l'argumentation de la recourante ne remplit manifestement pas les exigences prévues par cette disposition. La seule affirmation selon laquelle le "Tribunal cantonal valaisan a violé le droit en procédant à une appréciation arbitraire des preuves" est clairement insuffisante pour établir la violation du principe de l'interdiction de l'arbitraire, dès lors qu'il ne s'agit précisément que d'une affirmation dépourvue de motivation et ne reposant sur aucun fondement. Il n'y a donc pas lieu d'examiner ce premier motif.
3. Comme en instance cantonale, la recourante soulève ensuite le grief de partialité à l'égard du docteur A._. Elle fonde son argumentation sur deux motifs distincts: l'existence d'un lien économique et de subordination entre le docteur A._ et l'intimé, ainsi que l'absence de distance nécessaire du psychiatre qui aurait été mise en évidence par le courrier personnel qu'il lui a adressé le 23 mars 2011.
3.1 Un expert passe pour prévenu lorsqu'il existe des circonstances propres à faire naître un doute sur son impartialité. Dans ce domaine, il s'agit toutefois d'un état intérieur dont la preuve est difficile à rapporter. C'est pourquoi il n'est pas nécessaire de prouver que la prévention est effective pour récuser un expert. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale de l'expert. L'appréciation des circonstances ne peut pas reposer sur les seules impressions de l'expertisé, la méfiance à l'égard de l'expert devant au contraire apparaître comme fondée sur des éléments objectifs (ATF 132 V 93 consid. 7.1 p. 109 et l'arrêt cité).
Selon la jurisprudence rendue en matière de récusation d'un juge, applicable par analogie à la récusation d'experts judiciaires (ATF 134 V 93 consid. 7.1 p. 109), il est contraire à la bonne foi d'attendre l'issue d'une procédure pour tirer ensuite argument, à l'occasion d'un recours, du motif de récusation, alors que celui-ci était déjà connu auparavant (ATF 132 II 485 consid. 4.3 p. 496; consid. 1b non publié de l'ATF 126 V 303, mais dans SVR 2001 BVG 7 p. 28 et les arrêts cités; JACQUES OLIVIER PIGUET, Le choix de l'expert et sa récusation: le cas particulier des assurances sociales, HAVE 2011, p. 135).
3.2 Le premier motif invoqué par la recourante à l'encontre de l'expert est mal fondé. Dès lors que le docteur A._ a été commis par la juridiction cantonale pour établir une expertise judiciaire, on ne voit pas qu'il se soit trouvé en l'espèce dans un "lien de subordination" avec l'office AI, puisque son mandataire était le Tribunal cantonal valaisan. Par ailleurs, sous l'angle du lien de dépendance économique invoqué par la recourante - en raison du chiffre d'affaires important que réaliserait le psychiatre dans le cadre de mandats que lui confierait l'office AI -, il est de jurisprudence constante que le fait qu'un expert, médecin indépendant, ou une institution d'expertises soient régulièrement mandatés par un organe de l'assurance sociale, le nombre d'expertises ou de rapports confiés à l'expert, ainsi que l'étendue des honoraires en résultant ne constituent pas à eux seuls des motifs suffisants pour conclure au manque d'objectivité et à la partialité de l'expert (ATF 137 V 210 consid. 1.3.3 p. 226 et les arrêts cités). Aussi, est-ce à juste titre que la juridiction cantonale n'a pas donné suite à la requête de renseignements sur le nombre de mandats d'expertise psychiatrique confiés par l'office AI au docteur A._ et sur le montant de la rémunération en résultant, ces éléments ne constituant pas une preuve pertinente pour établir les faits relatifs à la récusation.
Au demeurant, le prétendu lien économique constituait une circonstance que la recourante aurait pu et dû alléguer bien avant sa détermination du 15 mars 2011, dans laquelle elle a fait valoir pour la première fois des motifs de partialité, une fois l'expertise rendue et son résultat connu. Contrairement à ce qu'elle prétend dans son écriture du 26 septembre 2011, il s'agissait d'un élément qui n'est pas apparu seulement après l'attribution du mandat d'expertise. Or, la recourante n'a émis aucune réserve à cet égard au moment où elle a été appelée à faire valoir d'éventuels motifs de récusation (ordonnance du Tribunal cantonal du 14 juillet 2010) et ne s'est pas opposée à l'expertise du docteur A._ (courrier du 6 septembre 2010). Le motif invoqué, eût-il été pertinent, n'aurait par conséquent pas pu être pris en considération sous l'angle de la bonne foi (consid. 3.1 in fine supra).
3.3 En ce qui concerne le second motif de partialité, la recourante soutient que le fait que le docteur A._ lui a adressé le courrier du 23 mars 2011, alors que le mandat d'expertise était en cours et qu'il a déposé une détermination complémentaire (datée du même jour), montre que le médecin est devenu un "tiers intervenant" et ne dispose plus de la distance nécessaire pour que son rapport d'expertise puisse "être validé".
En l'occurrence, le fait que l'expert s'est adressé directement par écrit à la recourante le 23 mars 2011, en mettant en cause l'attitude de celle-ci en mars 2011 et les propos qu'elle avait tenus à son sujet, pour l'avertir d'éventuelles mesures auprès des autorités judiciaires met objectivement en doute l'impartialité de l'expert à partir de ce moment-là. En effet, la démarche du docteur A._ met en évidence des tensions personnelles entre lui et la recourante dont on pouvait penser qu'elles l'empêchaient de garder une nécessaire distance et étaient susceptibles d'exercer une influence négative sur le point de vue de l'expert. Toutefois, comme l'a retenu à juste titre la juridiction cantonale, les circonstances en cause ne sont pas susceptibles de rendre vraisemblable une apparence de prévention du docteur A._ au moment où il a mené les entretiens d'expertise avec la recourante en automne 2010 et rédigé son rapport rendu le 24 novembre 2010. Son courrier du 23 mars 2011 constitue en effet une réaction aux déclarations exprimées par celle-ci à la suite de la reddition du rapport d'expertise (et rapportées indirectement par le docteur E._ dans son avis du 10 mars 2011). Les tensions qui en ont apparemment résulté à la fin du mois de mars 2011 pouvaient donc tout au plus justifier la récusation de l'expert pour apparence de prévention à partir de ce moment-là. Elles ne permettent en revanche pas de douter de l'impartialité du docteur A._ au moment de se prononcer sur la situation de la recourante dans son expertise du 24 novembre 2010. Cette pièce médicale n'a dès lors pas à être écartée de la procédure (ni, partant, remplacée par une nouvelle expertise judiciaire à mettre en oeuvre).
3.4 En conséquence de ce qui précède, les conclusions de la recourante tendant à ce que l'expertise du docteur A._ du 24 novembre 2010 soit écartée du dossier sont mal fondées. Dans la mesure où elles porteraient également sur la détermination de l'expert du 23 mars 2011 - ce qui ne ressort pas clairement de l'écriture de recours -, il y aurait lieu de constater que le complément d'expertise rédigé à la même date que le courrier à la recourante ne pourrait être pris en considération, compte tenu des doutes, à ce moment-là, sur l'impartialité de son auteur.
Une telle constatation ne modifierait cependant en rien l'issue du litige. Les premiers juges ont en effet suivi les conclusions de l'expertise judiciaire du 24 novembre 2010 pour retenir qu'il était exigible de la recourante qu'elle fît l'effort de surmonter ses symptômes douloureux pour reprendre une activité lucrative, en constatant qu'elles n'étaient pas remises en cause par les médecins qui s'étaient exprimés postérieurement sur l'état de santé de la recourante (et dont les rapports avaient été produits par la recourante le 15 mars 2011). Cette appréciation des preuves n'est pas critiquée par la recourante, ou du moins pas à satisfaction de droit (supra consid. 2), et lie le Tribunal fédéral (supra consid. 1). Le recours se révèle donc mal fondé.
4. Vu l'issue du litige, les frais de justice sont en principe à la charge de la recourante, qui ne peut prétendre de dépens (art. 66 al. 1 et 68 al. 1 LTF). Il convient toutefois d'accepter sa demande d'assistance judiciaire, dès lors qu'elle en réalise les conditions (cf. art. 64 al. 1 et 2 LTF). La recourante est rendue attentive au fait qu'elle devra rembourser la caisse du tribunal si elle se trouve ultérieurement en mesure de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée à la recourante.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Maître Michel De Palma est désigné en tant qu'avocat d'office de la recourante et une indemnité de 2'800 fr. lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 avril 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless