Faits:
A. M._ travaillait comme employé d'exploitation au service de l'entreprise X._ SA. Le 7 octobre 2002, il a été victime d'un accident de la circulation au cours duquel il a été blessé à la jambe droite, au bras gauche et à la tête (avec laquelle il avait heurté le pare-brise). Il a été hospitalisé jusqu'au 22 octobre 2002 pour une fracture complexe du fémur droit et une fracture du cubitus gauche médio-diaphysaire. La Caisse nationale suisse d'assurance en cas d'accidents (CNA), auprès de laquelle M._ était assuré, a pris en charge le cas.
La convalescence a été longue en raison d'un retard dans la consolidation de la fracture du fémur et du développement d'une pseudarthrose; plusieurs interventions chirurgicales ont été nécessaires. Au printemps 2004, un bilan médical à la Clinique Y._ a également mis en évidence un état de stress post-traumatique, atteinte pour laquelle l'assuré a été suivi par le docteur S._, psychiatre de l'unité de psychiatrie ambulatoire de Z._. A la demande du docteur O._, médecin d'arrondissement de la CNA, qui a procédé à des examens réguliers, une expertise psychiatrique été confiée à la doctoresse L._. Dans un rapport du 14 janvier 2006, celle-ci a posé les diagnostics de modification durable de la personnalité après une expérience de catastrophe [F62.0], de dysthymie [F34.1] et de syndrome douloureux somatoforme persistant [F45.4]. Elle a évalué la capacité de travail de l'assuré à 70 % dans une activité simple au jour de l'expertise. Le 19 mars 2006, le docteur O._ a effectué un examen final. Il a constaté que globalement, l'assuré s'était suffisamment remis de ses lésions accidentelles pour pouvoir reprendre une activité adaptée à raison de 6 heures par jour. Après avoir, dans un premier temps, mis fin aux indemnités journalières au 30 septembre 2006, la CNA en a repris le versement à partir du 1er octobre 2006 en raison d'une nouvelle opération prévue en janvier 2007.
Entre-temps, au mois de juillet 2003, M._ a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli le dossier de la CNA et les avis des médecins traitants, les docteurs C._ (chirurgien orthopédiste) et S._. Il a également organisé un stage d'observation professionnelle au Centre W._ (en automne 2007), et mandaté la doctoresse L._ pour une nouvelle évaluation psychiatrique. Celle-ci a retenu une situation superposable à celle qu'elle avait constatée en 2006. Elle a précisé que l'incapacité de travail de l'assuré avait évolué comme suit: 100 % d'octobre 2002 à début 2004; 60 % de mi-2004 à fin 2005; 30 % à partir de janvier 2006 (rapport d'expertise du 19 novembre 2008).
Par décision du 27 janvier 2010, confirmée sur opposition le 25 mars suivant, la CNA a alloué à l'assuré une rente LAA fondée sur un degré d'invalidité de 39 % dès le 1er janvier 2010. Les recours formés contre la décision sur opposition ont été rejetés par la Cour des assurances sociales du Tribunal cantonal vaudois (jugement du 15 septembre 2011; cause AA 41/10 - 106/2011) et par le Tribunal fédéral (arrêt de ce jour; cause 8C_782/2011).
De son côté, l'Office AI a octroyé à M._ le droit à une rente entière du 1er octobre 2003 au 30 novembre 2004, à trois quarts de rente du 1er décembre 2004 au 31 mars 2006, la prestation étant supprimée au 1er avril 2006, puis à nouveau à une rente entière limitée dans le temps du 1er janvier au 31 mai 2007 (décision du 9 avril 2010).
B. L'assuré a déféré la décision de l'office AI à la Cour des assurances sociales du Tribunal cantonal vaudois qui a rejeté son recours, par jugement du 15 septembre 2011 (cause AI 186/10 - 428/2011).
C. M._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Il conclut à l'octroi d'une rente AI basée sur un degré d'invalidité de 56 % à partir du 1er avril 2006 (à l'exception de la période de janvier à mai 2007); subsidiairement, au renvoi de la cause à la juridiction cantonale pour complément d'instruction sous la forme d'une nouvelle expertise psychiatrique auprès du docteur A._, psychiatre. Il demande en outre à bénéficier de l'assistance judiciaire.
L'office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sous réserve des cas prévus à l'art. 105 al. 2 LTF. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. En instance fédérale, le recourant ne remet pas en cause les incapacités de travail, respectivement de gain, qui lui ont été reconnues jusqu'au 31 décembre 2005. Il conteste uniquement la capacité de travail résiduelle de 70 % retenue par l'office AI et confirmée par les premiers juges à partir du 1er janvier 2006 et qui a donné lieu à la suppression de sa rente d'invalidité dès le 1er avril 2006.
3. Le jugement entrepris expose correctement les règles légales et les principes applicables lorsque la décision de l'assurance-invalidité accorde une rente avec effet rétroactif et prévoit en même temps la suppression de cette rente, ainsi que la jurisprudence en matière de libre appréciation des preuves et de valeur probante de rapports médicaux. Il suffit d'y renvoyer.
4. En substance, la juridiction cantonale a constaté que l'état de santé de l'assuré s'était amélioré depuis janvier 2006 au point de lui permettre d'exercer une activité adaptée à hauteur de 70 %, en se fondant sur le rapport d'examen médical du docteur O._ (du 1er mars 2006) pour l'aspect orthopédique et sur les conclusions de la doctoresse L._ (rapports d'expertise des 14 janvier 2006 et 19 novembre 2008) pour l'aspect psychique. Elle s'est écartée des avis des docteurs C._ et S._, au motif que les constatations cliniques ressortant du dossier médical de l'assuré étaient dans les grandes lignes similaires les unes aux autres et que l'appréciation respective des docteurs O._ et L._ était motivée de manière plus circonstanciée que ceux des médecins traitants, au demeurant plus enclins à prendre parti pour leur patient.
5. Le recourant reproche aux premiers juges de ne pas avoir suffisamment tenu compte de l'évolution de sa situation tant physique que psychique. Il allègue qu'en 2006, il présentait encore des fortes douleurs à la hanche. Par ailleurs, selon l'avis de son médecin chirurgien orthopédiste, il disposait d'une capacité de travail résiduelle de seulement 50 % dès octobre 2005 (rapport du 14 mars 2007). Quant à l'évaluation psychiatrique de la doctoresse L._, elle prêtait sérieusement flanc à la critique, si bien qu'il ne pouvait en être tenu compte. Non seulement l'office AI aurait dû accueillir sa demande de récusation de l'experte qu'il avait formulée en cours d'instruction, mais le diagnostic de trouble somatoforme douloureux qu'elle avait posé n'était pas convaincant au regard des critères fixés par le CIM-10. Le caractère mal fondé de ce diagnostic était également mis en évidence par son médecin traitant psychiatre, le docteur S._ dans deux rapports établis les 13 juin 2006 et 24 août 2009. Ses douleurs, liées aux séquelles de son accident, avaient clairement une origine somatique et non psychique. Une autre expertise psychiatrique était nécessaire.
6. 6.1 Il n'appartient pas au Tribunal fédéral, eu égard à son pouvoir d'examen restreint (supra consid. 1), de procéder une nouvelle fois à l'appréciation des preuves administrées, mais à la partie recourante d'établir en quoi celle opérée par l'autorité cantonale serait manifestement inexacte ou incomplète - notion qui correspond à celle d'arbitraire -, ou en quoi les faits auraient été constatés au mépris de règles essentielles de procédure. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier ou contraire au sens de la justice et de l'équité ou encore lorsque le juge a interprété les pièces du dossier de manière insoutenable, a méconnu des preuves pertinentes ou s'est fondé exclusivement sur une partie des moyens de preuve (ATF 134 V 53 consid. 4.3 p. 62, 120 Ia 31 consid. 4b p. 40, 118 Ia 28 consid. 1b p. 30).
6.2 En l'occurrence, l'argumentation du recourant ne permet pas d'établir le caractère insoutenable de l'appréciation des preuves à laquelle sont parvenus les premiers juges. A cet effet, il ne suffit pas de relever, à l'instar du recourant, que la capacité de travail a été évaluée différemment par les médecins traitants. Encore faut-il démontrer objectivement en quoi la juridiction cantonale se serait manifestement trompée en privilégiant d'autres points de vue ou du moins en quoi une instruction complémentaire s'imposerait. Or, le recourant échoue à en faire la démonstration. Sur le plan somatique, hormis la divergence sur le taux de la capacité de travail, les observations cliniques des docteurs C._ et O._ sont similaires, notamment sur l'évolution positive de la consolidation du fémur et la mobilité de la hanche au moment déterminant. On ne voit donc pas ce qui justifierait de s'écarter de l'avis du médecin d'arrondissement. Le recourant ne met à tout le moins aucun élément en évidence. En ce qui concerne l'aspect psychique de son état de santé, M._ se contente de substituer sa propre appréciation des critères diagnostiques d'un trouble somatoforme douloureux à celle de l'experte ainsi qu'à renvoyer sommairement aux rapports de son psychiatre traitant. Il n'incombe toutefois pas au juge de se livrer à des conjectures qui relèvent strictement de la science médicale (voir arrêt 9C_573/2009 du 16 décembre 2009 consid. 2.3). Par ailleurs, la doctoresse L._ a tenu compte de l'avis émis par le docteur S._ et expliqué de manière détaillée en quoi elle était d'accord avec lui ou au contraire avait des raisons de se distancer de l'appréciation de celui-ci, en particulier sur le passage d'un état dépressif à une dysthymie. Enfin, il n'y a pas lieu d'examiner la question de la récusation de l'experte psychiatre puisque, indépendamment du fait que M._ n'a pas recouru contre la décision incidente de l'office AI du 24 juin 2008 rejetant sa demande de récusation, le prénommé n'expose dans son recours aucun motif de partialité de celle-ci. En particulier, la circonstance que la doctoresse L._ se soit déjà prononcée dans le cadre du dossier accident ne constitue pas un tel motif. Dans ces conditions, le Tribunal fédéral n'a aucune raison de s'écarter des considérations du jugement entrepris.
Le recours doit être rejeté.
7. Le recourant, qui satisfait aux conditions de l'art. 64 al. 1 LTF, est dispensé de l'obligation de payer les frais judiciaires. Quant aux conditions auxquelles l'art. 64 al. 2 LTF subordonne la désignation d'un avocat d'office, elles sont également réalisées. L'attention du recourant est cependant attirée sur le fait qu'il devra rembourser la caisse du Tribunal s'il devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils seront toutefois supportés provisoirement par la caisse du Tribunal.
4. Une indemnité de 1'800 fr., supportée par la caisse du Tribunal, est allouée à Me Charles Munoz à titre d'honoraires.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 11 octobre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl