Faits:
A. Le 27 juin 2005, B._ a présenté une demande de prestations de l'assurance-invalidité, en invoquant souffrir d'une déchirure à l'épaule droite, provoquée par un accident subi le 18 novembre 2004. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a pris des renseignements auprès du médecin traitant de l'assuré, de son dernier employeur (qui avait mis fin au rapport de travail au 31 août 2005) et de l'assureur-accidents, la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Dans un projet de décision du 4 décembre 2006, l'office AI a informé l'intéressé qu'il entendait refuser le droit à la rente puisqu'il ne subissait pas de préjudice économique, compte tenu d'une capacité résiduelle de travail entière dans une activité adaptée. B._ a contesté ce projet de décision, en alléguant se soumettre depuis quelques temps à un traitement psychiatrique.
L'office AI a alors recueilli des rapports émanant du Département de psychiatrie de l'Hôpital X._, selon lesquels l'assuré présentait un état dépressif sévère sans symptôme psychotique, un trouble somatoforme douloureux et un état de stress post-traumatique. Après que l'assuré n'a pas donné suite à deux convocations du docteur E._, spécialiste FMH en psychiatrie et psychothérapie, auquel l'administration avait demandé d'examiner l'intéressé, ni répondu à ses courriers, l'office AI a rendu une décision, le 12 novembre 2007, par laquelle il a nié le droit de B._ à une rente d'invalidité.
B. L'assuré a déféré cette décision au Tribunal des assurances du canton de Vaud (aujourd'hui: Tribunal cantonal, Cour des assurances sociales, du canton de Vaud), en produisant un rapport des docteurs C._ et M._ du Département de psychiatrie de X._. Le Tribunal a fait verser à la procédure le dossier de la CNA et confié une expertise au docteur V._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 13 juillet 2009, le médecin a conclu que B._ ne souffrait d'aucune atteinte à la santé psychique de nature à entraver sa capacité de travail. Le 27 août 2009, le prénommé a contesté la valeur probante du rapport du docteur V._ et sollicité la mise en oeuvre d'une nouvelle expertise. Donnant suite à cette requête, la Cour des assurances sociales du Tribunal cantonal vaudois a mandaté la doctoresse R._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 19 janvier 2010, le médecin a diagnostiqué un épisode dépressif sévère, avec symptômes psychotiques, ainsi qu'une probable modification durable de la personnalité et conclu à une incapacité de travail totale dans toute activité depuis la fin de l'année 2006. Par jugement du 29 mars 2011, la Cour a rejeté le recours et confirmé la décision de l'office AI du 12 novembre 2007. Elle a, par ailleurs, transmis la cause à l'office AI comme objet de sa compétence en ce qui concerne le droit aux prestations pour la période postérieure à la décision administrative litigieuse.
C. B._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut au renvoi de la cause à la Cour des assurances sociales du Tribunal cantonal vaudois pour qu'elle se prononce sur la valeur probante de l'expertise du docteur R._ et, en cas de réponse négative, ordonne une nouvelle expertise ou bien, en cas de réponse affirmative, pose au médecin des questions complémentaires "en particulier celle de savoir à quel mois de la fin 2006 remonte l'incapacité de travail du recourant". Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Le litige porte sur le droit du recourant à une rente d'invalidité pendant la période soumise à l'examen du juge, qui s'achève avec la décision administrative du 12 novembre 2007. A cet égard, la juridiction cantonale a dûment exposé les dispositions légales et les principes jurisprudentiels sur la notion d'invalidité et son évaluation, ainsi que sur le principe de la libre appréciation des preuves applicables en l'espèce. Il suffit de renvoyer à son jugement.
3. 3.1 En instance cantonale, le Juge cantonal chargé de l'instruction de la cause a, entre autres mesures d'instruction, mandaté le docteur V._ pour une expertise "afin de clarifier la nature et l'intensité de l'atteinte à sa sphère psychique présentée par l'assuré B._ et les répercussions de celle-ci sur l'exercice d'une activité raisonnablement exigible" (mission d'expertise du 18 février 2009). Une fois que le psychiatre a rendu son rapport (le 13 juillet 2009), le Juge cantonal a considéré que le ton employé par l'expert n'était guère adéquat et pouvait donner le sentiment d'un parti pris, de sorte qu'une seconde expertise devait être ordonnée (courrier aux parties du 23 septembre 2009). Celle-ci a été confiée à la doctoresse R._, qui, dans son rapport du 19 janvier 2010, est arrivée à des conclusions totalement opposées à celles du docteur V._ quant à l'existence d'une atteinte psychique et ses effets sur la capacité de travail de l'assuré.
3.2 Dans le jugement entrepris, la juridiction cantonale a d'abord constaté que le recourant disposait d'une pleine capacité de travail résiduelle dans une activité adaptée (soit légère et ne nécessitant pas de mouvements au-dessus de la ligne des épaules) du point de vue strictement somatique. Examinant ensuite si l'assuré souffrait d'une atteinte à la santé psychique qui limiterait cette capacité de travail, les premiers juges ont considéré que les deux expertises judiciaires qu'ils avaient ordonnées prêtaient le flanc à la critique. Le rapport du docteur V._ comprenait des observations orientées et se caractérisait par le ton cassant et les jugements de valeur exprimés par son auteur, ce qui nécessitait de le "prendre avec beaucoup de prudence". L'appréciation de la doctoresse R._ avait été rédigée de manière beaucoup plus rigoureuse et systématique et revêtait indéniablement une valeur probante supérieure. L'expertise du 19 janvier 2010 suscitait cependant quelques interrogations quant à la manière dont la psychiatre avait repris, sans les mettre en doute dans la discussion, les allégations de l'assuré relatives à la gravité de l'accident dont il avait été victime - lequel ne pouvait être qualifié d'impressionnant, ni n'avait provoqué de danger pour la vie de l'assuré au regard des premières déclarations de celui-ci -, ainsi qu'à l'absence de contrôle du respect par l'intéressé du traitement médicamenteux.
Selon l'autorité cantonale de recours, il n'y avait toutefois pas lieu de tirer de conclusions définitives relatives aux diagnostics posés par la doctoresse R._ et à l'incapacité de travail qu'elle attestait. En effet, à supposé que l'on reconnût une pleine valeur probante aux constatations de la psychiatre sur l'existence d'une incapacité de travail (due essentiellement à la gravité du trouble dépressif qu'elle avait diagnostiqué chez l'assuré) depuis fin 2006 dans toute activité, ces conclusions ne permettaient pas de retenir une incapacité de travail antérieurement au mois de décembre 2006. Si en avril 2005, le docteur S._, spécialiste FMH en psychiatrie et en psychothérapie qui s'était prononcé à la demande de la CNA, avait fait état de "quelques signes dépressifs modérés" n'entraînant aucune incapacité de travail, il n'était pas exclu que le recourant eût ensuite progressivement subi une péjoration de son état de santé psychique, au point de présenter effectivement, dès le mois de décembre 2006, un épisode dépressif sévère avec des répercussions sur sa capacité de travail, comme l'avait attesté la doctoresse R._. En tout état de cause, de l'avis des premiers juges, les pièces au dossier ne permettaient pas de tenir pour établi, au degré de la vraisemblance prépondérante, que le recourant avait présenté, à la date de la décision litigieuse (du 12 novembre 2007), une incapacité de gain durable de 40 % au moins ou une incapacité de travail de 40 % au moins, en moyenne, pendant une année sans interruption notable, de sorte qu'il n'avait pas droit à une rente.
4. 4.1 Reprochant aux premiers juges d'avoir adopté un comportement contradictoire en violation des art. 5 al. 3 et 9 Cst., le recourant leur fait grief d'avoir admis, sur la base des conclusions de la doctoresse R._, qu'il présentait une incapacité de travail significative à partir du mois de décembre 2006 seulement, alors qu'ils avaient précisément renoncé à tirer de l'expertise du 19 janvier 2010 des conclusions définitives. Selon lui, dès lors que la juridiction cantonale considérait que ni l'appréciation de l'experte, ni celle du docteur V._ n'avaient de valeur probante, elle était tenue d'ordonner une nouvelle expertise et ne pouvait pas, malgré son raisonnement qu'il qualifie de "virtuose", renoncer à une telle mesure d'instruction.
4.2 En vertu de l'art. 61 let. c LPGA, le tribunal cantonal des assurances doit établir les faits déterminants pour la solution du litige, avec la collaboration des parties. Il administre les preuves nécessaires et les apprécie librement. Cette disposition, qui exprime le principe inquisitoire, impose au juge de constater d'office les faits pertinents de la cause, après avoir administré les preuves nécessaires (cf. ATF 125 V 193 consid. 2 p. 195). Toutefois, le tribunal peut considérer qu'un fait est prouvé et renoncer à de plus amples mesures d'instruction lorsqu'au terme d'un examen objectif, il ne conçoit plus de doutes sérieux sur l'existence de ce fait (cf. ATF 130 III 321 consid. 3.2, p. 324; SVR 2007 IV n° 31 p. 111 [I 455/06], consid. 4.1). Si de tels doutes subsistent, il lui appartient de compléter l'instruction de la cause, pour autant que l'on puisse attendre un résultat probant des mesures d'instruction entrant raisonnablement en considération. Le cas échéant, il peut renoncer à l'administration d'une preuve s'il acquiert la conviction, au terme d'une appréciation anticipée des preuves, qu'une telle mesure ne pourrait l'amener à modifier son opinion (ATF 130 II 425 consid. 2.1 p. 429; 125 I 127 consid. 6c/cc in fine p. 135). Saisi d'un recours en matière de droit public, le Tribunal fédéral ne peut, en principe, revoir le résultat de l'appréciation anticipée des preuves - et en conclure à une violation de la maxime inquisitoire - , qu'en cas d'inexactitude manifeste (art. 97 al. 1 et 105 al. 1 et 2 LTF; cf. également MEYER in : M. A. Niggli, P. Uebersax, H. Wiprächtiger [édit.], Bundesgerichtsgesetz, Bâle 2008, n. 34a, 60 et note 170 ad art. 105).
4.3 Les considérations du jugement attaqué relèvent d'une violation du principe inquisitoire. Les premiers juges n'ont pas pris clairement position par rapport à la valeur probante de chacune des expertises judiciaires, en indiquant si elles étaient à leurs yeux propres à servir de preuve. Il ressort cependant de leurs considérations que les deux évaluations psychiatriques n'étaient pas aptes selon eux à prouver les faits déterminants (l'expertise du docteur V._ devait être prise avec beaucoup de prudence et n'était pas convaincante sur la conclusion relative à l'absence de trouble dépressif majeur; aucunes conclusions définitives sur les diagnostics posés par l'experte et l'incapacité de travail attestée ne devaient être tirées). Dans une telle situation, dès lors qu'aucune des deux pièces médicales en cause n'avait force probante pour les motifs indiqués (lesquels apparaissent, au demeurant, tout à fait convaincants), les faits pertinents qu'elles étaient censées éclaircir - soit le point de savoir si l'assuré souffrait, pendant la période soumise à l'examen du juge, d'atteinte(s) psychique(s) et, le cas échéant, quels étaient les effets de celle(s)-ci sur la capacité de travail résiduelle - n'étaient (toujours) pas établis à satisfaction de droit.
Aussi, faute de disposer de documents médicaux permettant de porter un jugement valable sur l'état de santé du recourant sous l'angle psychiatrique, l'autorité cantonale de recours ne pouvait pas tenir pour démontré que le recourant ne présentait pas, au 12 novembre 2007, une incapacité de travail de 40 % au moins, en moyenne, pendant une année sans interruption notable. Pour constater une telle absence d'incapacité de travail jusqu'à la date déterminante pour l'examen judiciaire, elle n'était pas en droit de se fonder sur l'expertise de la doctoresse R._ - ne serait-ce que pour élaborer un raisonnement hypothétique -, dont elle ne reconnaissait précisément pas la valeur probante, une telle manière de procéder contrevenant au principe de la libre appréciation des preuves (cf. ATF 125 V 351 consid. 3a p. 352 et les arrêts cités). Dans ces circonstances, la juridiction cantonale aurait été tenue d'ordonner une surexpertise (psychiatrique), et la renonciation à cette mesure d'instruction constituait une violation du devoir du juge d'établir les faits d'office.
4.4 En conséquence de ce qui précède, il convient d'annuler le jugement entrepris et de renvoyer la cause à la juridiction cantonale pour qu'elle complète l'instruction en ordonnant une surexpertise, puis rende une nouvelle décision. Les conclusions du recourant, dans la mesure où elles tendent au renvoi de la cause au Tribunal cantonal vaudois pour instruction complémentaire, sont dès lors bien fondées, sans qu'il soit nécessaire d'examiner ses autres griefs.
5. Vu l'issue du litige, les frais de justice doivent être supportés par l'intimé qui succombe (art. 66 al. 1 LTF). Le recourant a par ailleurs droit à une indemnité de dépens à la charge de l'intimé, de sorte que sa demande d'assistance judiciaire est sans objet (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 29 mars 2011 est annulé et la cause est renvoyée à ladite Cour pour complément d'instruction au sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 23 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless