Faits:
A. Invoquant souffrir de douleurs à la jambe à la suite d'un accident professionnel survenu le 8 novembre 1994, A._ (né en 1958) a présenté le 8 mai 2001 une demande de prestations de l'assurance-invalidité (qui faisait suite à un précédent refus de prestations prononcé le 22 mars 1996). Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: office AI) a confié une expertise psychiatrique au docteur E._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 9 août 2005 (complété les 6 décembre 2005 et 4 janvier 2006), le médecin a diagnostiqué un trouble somatoforme douloureux et un épisode dépressif moyen entraînant une incapacité de travail de 50 % dans l'activité exercée jusqu'alors (opérateur de contrôle auprès de X._ SA). A titre de mesures de rétablissement de la santé, il a conseillé d'augmenter la fréquence des séances de psychothérapie que l'assuré suivait régulièrement depuis mai 2004 auprès de la doctoresse N._ du Service psycho-social de Y._, de les doubler éventuellement de mesures cognitivo-comportementales et de mieux utiliser les possibilités thérapeutiques médicamenteuses.
Le 27 janvier 2006, l'office AI a informé A._ qu'il allait lui allouer une rente; il lui a par ailleurs indiqué qu'au vu des conclusions de l'expertise psychiatrique, sa capacité de travail pouvait être améliorée au moyen d'une psychothérapie intensive (au moins une fois par semaine au lieu d'une fois par mois) et d'une optimisation du traitement médicamenteux. Il lui a également imparti un délai au 20 février 2006 pour confirmer qu'il allait suivre ces recommandations thérapeutiques et indiquer le nom du psychiatre traitant, ainsi que les dates des prochaines séances. Il l'a par ailleurs averti de la possibilité de réduire les prestations si l'assuré se soustrayait à un traitement raisonnablement exigible. Par décision du 17 mars 2006, l'administration a mis A._ au bénéfice d'une demi-rente d'invalidité à partir du 1er mars 2001. Sans nouvelles de sa part au 27 avril 2006, elle a rendu une décision par laquelle elle a suspendu le versement de la demi-rente à l'assuré avec effet immédiat. Au cours d'un échange de correspondance, celui-ci a contesté refuser de se soumettre à un traitement intensif et expliqué que ses psychiatres traitants, les docteurs N._ et P._ (depuis début 2007), assuraient un suivi mensuel régulier; la doctoresse N._ ne pouvait pas proposer des consultations plus fréquentes, son patient nécessitant une thérapie dans sa langue maternelle, alors que le docteur P._ estimait qu'un suivi hebdomadaire n'était pas justifié. Le 26 mai 2008, l'office AI a accordé rétroactivement à l'assuré une demi-rente d'invalidité du 1er juin au 31 décembre 2006 et supprimé le droit à cette prestation à partir du 1er janvier 2007, au motif que l'assuré aurait disposé d'une capacité de travail de 70 % s'il avait suivi immédiatement le traitement préconisé.
B. Statuant le 17 mars 2011 sur le recours formé par l'assuré contre cette décision, le Tribunal cantonal, Cour des assurances sociales, du canton de Fribourg l'a rejeté.
C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation ainsi qu'à celle de la décision administrative du 26 mai 2008. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Le litige porte sur le point de savoir si l'intimé était en droit de supprimer toute prestation à partir du 1er janvier 2007 au motif que le recourant n'a pas suivi le traitement médical régulier auquel il lui avait demandé de se soumettre et qui, s'il avait eu lieu, aurait vraisemblablement permis d'améliorer sa capacité de travail.
A cet égard, le jugement entrepris expose correctement la teneur de l'art. 21 al. 4 LPGA et la jurisprudence y relative sur les conditions de la réduction ou du refus des prestations, ainsi que la jurisprudence sur le principe de la libre appréciation des preuves et la valeur probante des rapports médicaux. Il suffit donc d'y renvoyer.
3. La juridiction cantonale a considéré que les conditions de l'art. 21 al. 4 LPGA étaient réalisées. Entre autres éléments pris en compte, elle a retenu qu'en enjoignant à l'assuré d'adopter un rythme hebdomadaire (et non plus mensuel) des séances de psychothérapie et de mieux utiliser les possibilités médicamenteuses - mesures préconisées par le docteur E._ dans son expertise du 9 août 2005 -, l'office AI avait ordonné un traitement raisonnablement exigible de la part du recourant et propre à améliorer sa capacité de travail. Celui-ci ne s'était cependant pas conformé aux injonctions de l'administration, puisque le nombre des séances, tel qu'il ressortait des attestations des docteurs N._ et P._, était inférieur à un rythme mensuel. Par ailleurs, l'argumentation du docteur P._, qui, dans son rapport de juillet 2007, avait remis en cause l'utilité même de la thérapie entreprise depuis plusieurs années devait être rejetée au regard des conclusions du docteur E._, parce que le médecin traitant n'avait fourni aucun élément déterminant pour étayer son point de vue. Le refus de toute prestation constituait par ailleurs une mesure proportionnée eu égard à l'effet espéré du traitement adéquat sur la capacité de travail de l'assuré. Aussi, de l'avis des premiers juges, la suppression de la demi-rente dès le 1er janvier 2007 était-elle conforme au droit.
4. Le recourant conteste tout d'abord s'être soustrait ou opposé, ou avoir refusé de participer spontanément au traitement exigé par l'intimé, de sorte que l'art. 21 al. 4 LPGA ne serait pas applicable. Selon lui, c'est son psychiatre traitant, le docteur P._ qui aurait refusé de le soumettre au traitement envisagé, comportement que la juridiction cantonale ne pouvait lui reprocher en assimilant l'attitude du médecin à la sienne.
4.1 Pour admettre "l'opposition ou la réticence du recourant à se soumettre au traitement requis", la juridiction cantonale a considéré que si, dans un premier temps, un malentendu avait pu se produire entre l'assuré, ses médecins traitants et l'intimé sur la portée exacte des conditions à satisfaire pour pouvoir continuer à bénéficier des prestations d'assurance, aucun doute n'était cependant permis dès la suspension de la rente (en avril 2006) et "l'assuré, ainsi que sa psychiatre traitante d'alors auraient dû entreprendre d'office les démarches idoines afin de régulariser sa situation (...)". Les premiers juges ont, par ailleurs, critiqué l'attitude du docteur P._, qui "plutôt que d'encourager le respect des injonctions de l'OAI, s'est enferré à contester le point de vue de l'expert psychiatre", et retenu qu'"une telle attitude, mise en rapport avec le contexte développé plus haut, n'est manifestement pas de nature à illustrer la réelle intention du recourant non seulement de se soumettre au traitement tel que préconisé, mais de prendre les mesures pouvant lui permettre d'améliorer rapidement sa capacité de travail".
Ces considérations montrent que l'autorité cantonale de recours s'est fondée dans une très large mesure sur le comportement des docteurs N._ et P._ pour en imputer des conséquences négatives au recourant. Un tel point de vue est insoutenable, puisqu'il s'agit d'examiner si l'assuré, et non pas ses médecins traitants, s'oppose ou non aux mesures préconisées par l'administration.
4.2 On constate en l'occurrence - et il convient ici de compléter les faits établis en instance cantonale (consid. 1 supra) - que le recourant n'a pas réagi aux injonctions de l'intimé jusqu'à ce que la rente soit suspendue (par décision du 27 avril 2006). Dans les mois qui ont suivi, il a cependant indiqué à l'administration le nom de son psychiatre traitant, ainsi que la date des prochaines consultations (courrier du 2 octobre 2006); il a également précisé être prêt à suivre le traitement envisagé, mais que selon la doctoresse N._, une consultation par mois était suffisante du point de vue neuropsychiatrique, respectivement l'état de santé ne pouvait pas être notablement amélioré par des consultations plus fréquentes (courrier du 9 février 2007). Après que l'office AI lui a indiqué maintenir ses exigences quant à l'intensification du traitement psychothérapeutique et que l'avis de son médecin traitant n'était pas déterminant (courriers des 12 et 27 février 2007), A._ a commencé à suivre des consultations auprès du docteur P._, en parallèle aux séances auprès de la doctoresse N._. Le docteur P._ a attesté voir le recourant plus d'une fois par mois depuis le début de l'année 2007 et fait état d'une légère amélioration de son état de santé; il a toutefois précisé qu'une intensification du traitement psychothérapeutique ne lui paraissait pas adéquate (avis des 28 septembre et 31 octobre 2007). S'adressant par la suite directement au Service médical de l'office AI, le psychiatre traitant a mentionné que le traitement dispensé à son patient était approprié et confirmé que celui-ci suivait minutieusement les instructions thérapeutiques données par ses médecins traitants; il se tenait par ailleurs à disposition des médecins de l'assurance-invalidité pour discuter de la situation (courrier du 30 mai 2008). Le 22 juillet 2008, il a contesté l'interprétation de l'expertise psychiatrique donnée par le Service médical régional des Offices AI Z._ (SMR), en indiquant que l'expert avait mis l'accent sur le traitement médicamenteux et non pas sur la psychothérapie; il a attesté par ailleurs que son patient avait suivi un traitement médicamenteux de longue durée ("Dauermedikation"), ainsi que des consultations hebdomadaires (depuis début 2008) et que ces mesures n'avaient amené aucune amélioration de la capacité de travail. Entre-temps cependant, le 26 mai 2008, l'intimé a supprimé le droit du recourant à la demi-rente d'invalidité avec effet au 1er janvier 2007.
4.3 De l'échange de courriers entre le recourant et l'intimé, ainsi que des avis de ses psychiatres traitants, on peut déduire qu'après avoir compris les raisons de la suspension de sa demi-rente, le recourant avait l'intention de suivre les injonctions de l'intimé et s'était adressé, comme celui-ci le lui avait demandé dans la communication du 26 janvier 2006, à sa psychiatre traitante pour augmenter le nombre de séances de psychothérapie. Ce n'est toutefois qu'au début de l'année 2007 qu'un suivi plus intensif a été mis en place, lorsque la doctoresse N._ a adressé son patient pour des séances supplémentaires chez son confrère P._, auquel l'intimé a fait parvenir le rapport d'expertise (courrier du 12 mars 2007). En réaction, le docteur P._ a contesté l'utilité d'une augmentation des séances de psychothérapie et attesté que son traitement était approprié. Dans ces circonstances, contrairement à ce qu'a retenu la juridiction cantonale, il n'appartenait pas au recourant, qui s'est vu confronté aux recommandations divergentes de ses psychiatres traitants et de l'administration, de s'adresser spontanément à un autre psychiatre, mais à l'intimé de clarifier la situation sur le plan thérapeutique. Compte tenu du lien de confiance qui unit le patient à son médecin traitant, singulièrement son psychothérapeute, on ne pouvait attendre du recourant qu'il s'opposât aux recommandations thérapeutiques des docteurs N._ et P._, du moins aussi longtemps que l'intimé ne tenait pas compte de leurs remarques et ne répondait de manière précise à leurs critiques.
A cet égard, il ne suffisait pas de nier toute valeur probante aux avis du psychiatre traitant sans en examiner le bien-fondé. Outre le fait que l'expert E._ avait préconisé une augmentation de la fréquence des consultations sans préciser qu'elle devait être hebdomadaire, le docteur P._, que le recourant a précisément consulté pour intensifier les séances, a attesté du caractère adéquat et proportionné du traitement prodigué au recourant (un peu plus d'une fois par mois) et expliqué qu'il lui paraissait totalement inapproprié d'imposer des mesures à son patient qui n'atteindraient pas le but escompté (courrier du 30 mai 2008). Contrairement à ce qu'a retenu la juridiction cantonale, ces observations ne remettaient pas implicitement en cause l'utilité même de la thérapie entreprise depuis plusieurs années, mais étaient en revanche propres à susciter un doute sur l'adéquation des mesures enjointes par l'intimé. Compte tenu du caractère fluctuant et évolutif des affections psychiques présentées par le recourant, l'office AI aurait été tenu de demander au psychiatre traitant de préciser les raisons pour lesquelles le traitement envisagé ne lui paraissait pas, deux ans après l'expertise du docteur E._, propre à améliorer l'état de santé de son patient. Au demeurant, l'administration a reconnu la nécessité de nouvelles investigations au niveau médical, puisqu'elle a conclu en instance cantonale à l'annulation de sa décision du 26 mai 2008 afin de mettre de telles mesures en oeuvre. Par conséquent, avant de supprimer le droit à la demi-rente de l'assuré, l'intimé aurait dû compléter l'instruction sur le plan médical et s'assurer, au vu des observations du docteur P._, de l'adéquation de ses injonctions du 27 janvier 2006.
4.4 Le jugement entrepris doit être annulé encore pour un autre motif. Pour admettre que la suppression de la prestation allouée au recourant constituait une mesure proportionnée, eu égard à l'effet espéré du traitement adéquat sur la capacité de travail de l'assuré, la juridiction cantonale a constaté que le recourant aurait récupéré une capacité de travail de 70 % dans son ancienne activité dans un délai de six mois à une année. Cette constatation ne repose cependant sur aucune appréciation médicale (convaincante): comme l'ont retenu les premiers juges eux-mêmes, l'expert E._ s'est en effet limité à indiquer que la capacité de travail de 50 % pouvait être augmentée moyennant le traitement conseillé, tandis que l'appréciation du docteur G._ du SMR (selon laquelle une capacité de travail de 70 % aurait pu être recouvrée au début de l'année 2007) était dénuée de valeur probante, puisqu'elle n'était corroborée par aucun élément concret, avait été rendue sans examen de l'assuré et que le médecin n'était pas spécialiste en psychiatrie. A défaut d'être fondée sur un avis médical dûment étayé, la constatation de l'autorité cantonale de recours est par conséquent insoutenable.
5. Il résulte de ce qui précède qu'il n'est pas possible de déterminer, sans instruction médicale complémentaire, si les conditions de l'art. 21 al. 4 LPGA étaient réalisées en l'espèce. Par conséquent, le jugement entrepris et la décision administrative doivent être annulés. La cause doit par ailleurs être renvoyée à l'intimé, afin qu'il complète l'instruction sur le plan médical pour déterminer si, au vu des observations du docteur P._, le traitement préconisé était approprié pour améliorer l'état de santé du recourant et, dans l'affirmative, dans quelle mesure la capacité de travail de celui-ci aurait pu être augmentée.
6. Vu l'issue du litige, l'intimé qui succombe doit supporter les frais de justice (art. 66 al. 1 LTF). Le recourant a droit à une indemnité à titre de dépens à la charge de l'intimé, de sorte que sa demande d'assistance judiciaire est sans objet (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal, Cour des assurances sociales, du canton de Fribourg du 17 mars 2011 et la décision de l'Office AI du canton de Fribourg du 26 mai 2008 sont annulés. La cause est renvoyée à l'Office AI du canton de Fribourg pour qu'il procède au sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2800 fr. à titre de dépens pour la dernière instance.
4. La cause est renvoyée au Tribunal cantonal, Cour des assurances sociales, du canton de Fribourg pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 décembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless