Faits: A. Le 27 juin 2005, B._ a présenté une demande de prestations de l'assurance-invalidité, en invoquant souffrir d'une déchirure à l'épaule droite, provoquée par un accident subi le 18 novembre 2004. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a pris des renseignements auprès du médecin traitant de l'assuré, de son dernier employeur (qui avait mis fin au rapport de travail au 31 août 2005) et de l'assureur-accidents, la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Dans un projet de décision du 4 décembre 2006, l'office AI a informé l'intéressé qu'il entendait refuser le droit à la rente puisqu'il ne subissait pas de préjudice économique, compte tenu d'une capacité résiduelle de travail entière dans une activité adaptée. B._ a contesté ce projet de décision, en alléguant se soumettre depuis quelques temps à un traitement psychiatrique. L'office AI a alors recueilli des rapports émanant du Département de psychiatrie de l'Hôpital X._, selon lesquels l'assuré présentait un état dépressif sévère sans symptôme psychotique, un trouble somatoforme douloureux et un état de stress post-traumatique. Après que l'assuré n'a pas donné suite à deux convocations du docteur E._, spécialiste FMH en psychiatrie et psychothérapie, auquel l'administration avait demandé d'examiner l'intéressé, ni répondu à ses courriers, l'office AI a rendu une décision, le 12 novembre 2007, par laquelle il a nié le droit de B._ à une rente d'invalidité. B. L'assuré a déféré cette décision au Tribunal des assurances du canton de Vaud (aujourd'hui: Tribunal cantonal, Cour des assurances sociales, du canton de Vaud), en produisant un rapport des docteurs C._ et M._ du Département de psychiatrie de X._. Le Tribunal a fait verser à la procédure le dossier de la CNA et confié une expertise au docteur V._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 13 juillet 2009, le médecin a conclu que B._ ne souffrait d'aucune atteinte à la santé psychique de nature à entraver sa capacité de travail. Le 27 août 2009, le prénommé a contesté la valeur probante du rapport du docteur V._ et sollicité la mise en oeuvre d'une nouvelle expertise. Donnant suite à cette requête, la Cour des assurances sociales du Tribunal cantonal vaudois a mandaté la doctoresse R._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 19 janvier 2010, le médecin a diagnostiqué un épisode dépressif sévère, avec symptômes psychotiques, ainsi qu'une probable modification durable de la personnalité et conclu à une incapacité de travail totale dans toute activité depuis la fin de l'année 2006. Par jugement du 29 mars 2011, la Cour a rejeté le recours et confirmé la décision de l'office AI du 12 novembre 2007. Elle a, par ailleurs, transmis la cause à l'office AI comme objet de sa compétence en ce qui concerne le droit aux prestations pour la période postérieure à la décision administrative litigieuse. C. B._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut au renvoi de la cause à la Cour des assurances sociales du Tribunal cantonal vaudois pour qu'elle se prononce sur la valeur probante de l'expertise du docteur R._ et, en cas de réponse négative, ordonne une nouvelle expertise ou bien, en cas de réponse affirmative, pose au médecin des questions complémentaires "en particulier celle de savoir à quel mois de la fin 2006 remonte l'incapacité de travail du recourant". Il sollicite par ailleurs le bénéfice de l'assistance judiciaire. L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.