Faits:
A. M._ travaillait comme employé d'exploitation au service de l'entreprise X._ SA. A ce titre, il était assuré contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 7 octobre 2002, M._ a été victime d'un accident de la circulation. Un autre automobiliste n'a pas respecté un "cédez le passage" à une intersection et lui a coupé la route. Le prénommé a été blessé à la jambe droite, au bras gauche et à la tête (avec laquelle il avait heurté le pare-brise). Il a été hospitalisé jusqu'au 22 octobre 2002 pour une fracture complexe du fémur droit et une fracture du cubitus gauche médio-diaphysaire. La CNA a pris en charge le cas, tout en appliquant une réduction de 10 % sur les indemnités journalières durant deux ans pour défaut du port de la ceinture de sécurité.
La convalescence a été longue en raison d'un retard dans la consolidation de la fracture du fémur et du développement d'une pseudarthrose; plusieurs interventions chirurgicales ont été nécessaires (voir les rapports du docteur C._, chirurgien orthopédiste). Un bilan médical à la Clinique Y._ a également mis en évidence un état de stress post-traumatique, atteinte pour laquelle l'assuré a été suivi dès 2004 par le docteur S._, psychiatre de l'unité de psychiatrie ambulatoire de Z._.
M._ a été examiné à intervalles réguliers par le docteur O._, médecin d'arrondissement de la CNA. A la demande de ce dernier, il été soumis à une expertise psychiatrique auprès de la doctoresse L._. Dans un rapport du 14 janvier 2006, ce médecin a posé les diagnostics de modification durable de la personnalité après une expérience de catastrophe [F62.0], de dysthymie [F34.1] et de syndrome douloureux somatoforme persistant [F45.4]. De 1992 à 1995, M._, avait été confronté à un vécu difficile lié à la guerre civile en ex-Yougoslavie (emprisonnement du père; décès d'un ami sous ses yeux; blessure au bras gauche par des éclats de grenade). L'accident de 2002 avait réactivé des symptômes de stress post-traumatique. Un lien de causalité devait être admis jusqu'en 2004, mais les symptômes persistants à partir de 2005 étaient plutôt à mettre sur le compte de facteurs étrangers (vécu de guerre; commémoration de Srebrenica). La capacité de travail au jour de l'expertise était de 70 % dans une activité simple. Le pronostic restait cependant réservé vu le sentiment de victimisation de l'assuré. Après avoir, dans un premier temps, mis fin aux indemnités journalières dès le 30 septembre 2006, la CNA en a repris le versement depuis le 1er octobre 2006 en raison d'une nouvelle intervention fixée en janvier 2007.
Entre-temps, au mois de juillet 2003, M._ a présenté une demande de prestations de l'assurance-invalidité. L'Office AI pour le canton de Vaud a recueilli notamment le dossier de l'assuré auprès de la CNA, organisé un stage d'observation professionnelle au Centre W._ (en automne 2007), et mandaté la doctoresse L._ pour une nouvelle évaluation psychiatrique. Celle-ci a retenu une situation globalement superposable à celle qu'elle avait constatée en 2006, en précisant que l'incapacité de travail de M._ avait évolué depuis 2002 comme suit : 100 % d'octobre 2002 à début 2004; 60 % de mi-2004 à fin 2005; 30 % à partir de janvier 2006 (rapport d'expertise du 19 novembre 2008). Par décision du 9 avril 2010, l'Office AI a octroyé à l'assuré le droit à une rente entière du 1er octobre 2003 au 30 novembre 2004, à trois quarts de rente du 1er décembre 2004 au 31 mars 2006, puis à nouveau une rente entière du 1er janvier au 31 mai 2007. Les recours formés contre cette décision ont été rejetés par la Cour des assurances sociales du Tribunal cantonal vaudois (jugement du 15 septembre 2011; cause AI 186/10 - 428/2011) et par le Tribunal fédéral (arrêt de ce jour; cause 8C_781/2011).
Le 14 octobre 2009, le docteur O._ a procédé à un examen final de l'assuré. Sur cette base et après pris connaissance de la dernière expertise de la doctoresse L._, la CNA a alloué à l'assuré une rente LAA fondée sur un degré d'invalidité de 39 % dès le 1er janvier 2010 (décision du 27 janvier 2010, confirmée sur opposition le 25 mars suivant). Elle a considéré que M._ était en mesure de reprendre à la date déterminante une activité adaptée à 70 % et fixé le revenu d'invalidité sur la base de cinq descriptions de poste de travail (DPT).
B. Saisi d'un recours contre la décision sur opposition de la CNA, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté par jugement du 15 septembre 2011 (cause AA 41/10 - 106/2011).
C. M._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Il conclut à l'octroi d'une rente LAA basée sur un degré d'invalidité de 56 %; subsidiairement, à la reconnaissance d'un degré d'invalidité de 41 %; plus subsidiairement encore, au renvoi de la cause à la juridiction cantonale pour complément d'instruction sous la forme d'une nouvelle expertise psychiatrique auprès du docteur A._, psychiatre. Il demande en outre à bénéficier de l'assistance judiciaire.
La CNA conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le litige porte sur le point de savoir si le recourant peut prétendre une rente d'invalidité LAA d'un taux supérieur à 39 % à partir du 1er janvier 2010.
1.2 Dans la procédure de recours concernant une prestation en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 et 105 al. 3 LTF).
2. Le jugement entrepris expose correctement les règles légales relatives à la notion d'invalidité et à son évaluation, de même que les principes jurisprudentiels sur la libre appréciation des preuves et la valeur probante des rapports médicaux. On peut y renvoyer.
3. Le recourant critique l'appréciation des pièces médicales à laquelle ont procédé la CNA et les premiers juges. Sur le plan somatique, sa capacité de travail était loin d'être entière comme l'avait retenu le docteur O._. En effet, selon son chirurgien orthopédiste, le docteur C._, il avait recouvré une capacité de travail de 50 % seulement. Quant aux conclusions de la doctoresse L._ au sujet de son état de santé psychique, elles étaient contredites par son médecin traitant psychiatre, le docteur S._, pour qui le diagnostic de trouble somatoforme douloureux était erroné et la constatation d'une diminution de la capacité travail de 30 % insuffisante par rapport aux troubles qu'il présentait - irritabilité, fatigabilité, troubles de la concentration, perte de l'estime de soi et difficultés d'adaptation (cf. rapport du 13 juin 2006). La reconnaissance d'une capacité de travail de 50 % correspondait à une évaluation plus juste de ses capacités résiduelles. D'autant que de l'avis des responsables de W._, où il avait accompli un stage d'observation professionnelle sous l'égide de l'AI, son rendement avait été jugé trop faible pour une activité lucrative dans un circuit économique normal. Enfin, la méthode utilisée par la CNA pour fixer son revenu d'invalide apparaissait arbitraire. Le montant issu de la moyenne des salaires du total des DPT entrant en considération pour lui (en l'occurrence trente-trois postes de travail) était plus représentatif de ce qu'il pourrait obtenir en tant qu'invalide sur le marché du travail que le revenu résultant de la moyenne des salaires des seules cinq DPT produites et retenues par la CNA.
4. Sur le plan médical, les motifs invoqués par le recourant ne suffisent pas à jeter un doute sur la pertinence de l'évaluation des séquelles accidentelles à laquelle ont abouti la CNA et les premiers juges.
4.1 Tout d'abord, on ne voit pas que cette évaluation reposerait sur des faits médicaux inexacts ou incomplets. Tant le docteur C._ que le docteur O._ ont observé que les fractures étaient consolidées, la mobilisation de la hanche complète et la récupération de la musculature excellente. L'assuré ne boitait presque plus. Il restait une minime dysmétrie des membres inférieurs en défaveur de la droite. Le membre supérieur gauche présentait les séquelles connues d'un ancien accident (survenu en ex-Yougoslavie); la main était tout à fait fonctionnelle. En ce qui concerne l'évaluation effectuée par la doctoresse L._, si l'un des diagnostics posés n'a certes pas trouvé l'approbation du psychiatre traitant, elle ne s'éloigne cependant guère de l'avis de celui-ci sur le fait que l'assuré souffre de certaines limitations psychiques ayant une répercussion sur sa capacité de travail. Ainsi, à l'instar du docteur S._, l'experte a tenu compte, dans son appréciation, de troubles sous la forme d'un seuil douloureux abaissé, d'une irritabilité en fonction des circonstances, d'une diminution de la résistance au stress, de capacités d'adaptation et d'apprentissage réduites, ainsi que de difficultés à accepter ses limites physiques (cf. rapport d'expertise du 19 novembre 2008).
4.2 Ensuite, c'est en vain que le recourant se réfère à l'avis du docteur C._ pour justifier la reconnaissance d'une incapacité de travail supérieure. A l'issue du dernier examen clinique de M._ (du 25 août 2009), ce médecin n'a pas réitéré le taux de capacité de travail de 50 % qu'il avait régulièrement attesté dans ses rapports précédents. Il a évoqué le fait qu'il ne trouvait pas d'explication objective à la récente augmentation des douleurs exprimée par l'assuré et déclaré que le cas pouvait, à ses yeux, être liquidé par le versement d'une indemnité pour atteinte à l'intégrité et la reconnaissance d'une rente partielle, ce qui est justement le cas en l'espèce. On relèvera que malgré les considérations de la doctoresse L._ sur l'existence de facteurs étrangers à l'accident intervenant dans l'évolution des troubles de l'assuré (voir ses rapports d'expertise), la CNA a tout de même admis de prendre entièrement en charge l'incapacité de travail en résultant. Dans ce contexte, la seule affirmation du docteur S._ selon laquelle ce taux serait encore trop faible ne suffit pas à démontrer le caractère mal fondé de l'appréciation médicale globale de l'intimée. Au demeurant, l'opinion du psychiatre traitant à laquelle se réfère le recourant est antérieure de quatre ans à la décision litigieuse et est largement motivé par la longue inactivité du recourant. Enfin, on ne saurait accorder une importance décisive aux résultats du stage d'observation de W._. Devant la claire inadéquation des déficits cognitifs ressortant des tests neuropsychologiques réalisés lors de l'expertise du mois de novembre 2008 (voir les remarques de Madame J._, neuropsychologue, à ce sujet) et les constatations objectives des médecins, on peut en effet émettre des réserves quant à la valeur à donner aux performances de l'assuré observées durant ce stage.
4.3 Vu ce qui précède, il y a lieu de s'en tenir aux considérations développées par les premiers juges sur la capacité de travail dont jouit encore le recourant, sans qu'il faille encore mettre en oeuvre une nouvelle expertise psychiatrique comme il le demande.
5. Il reste à examiner la critique relative au revenu d'invalide établi par l'intimée.
5.1 Selon la jurisprudence (ATF 129 V 472), la détermination du revenu d'invalide sur la base des données salariales résultant des DPT suppose, en sus de la production d'au moins cinq DPT, la communication du nombre total des postes de travail pouvant entrer en considération d'après le type de handicap, ainsi que du salaire le plus haut, du salaire le plus bas, et du salaire moyen du groupe auquel il est fait référence.
5.2 L'intimée a satisfait à ces exigences. Quoi qu'en dise le recourant, dès lors qu'elle a déterminé le revenu d'invalide en se fondant sur un groupe de cinq DPT (parmi les trente-trois entrant en considération en l'espèce), ce qui correspond au minimum exigé par la jurisprudence précitée pour valider le recours au DPT, le résultat obtenu ne saurait être qualifié de contraire au droit et encore moins d'arbitraire, même si le salaire moyen tiré de l'ensemble des trente-trois postes de travail se révélerait plus favorable l'assuré (51'940 fr. au lieu de 53'759 fr. pour une activité à plein temps). Du reste, comme l'a fait remarquer l'intimée, le résultat aurait été moins avantageux pour l'assuré en cas de détermination du revenu d'invalide en fonction des données salariales statistiques (soit 61'164 fr. pour des activités simples et répétitives avec une durée de travail hebdomadaire de 41,6 heures; voir l'Enquête suisse sur la structure des salaires 2010, TA1, niveau de qualification 4 et l'Annuaire statistique de la Suisse 2012, p. 102, T.3.2.4.19).
5.3 Il s'ensuit que sur ce point également, le jugement entrepris n'est pas critiquable. Le recours doit être par conséquent être rejeté.
6. Le recourant, qui satisfait aux conditions de l'art. 64 al. 1 LTF, est dispensé de l'obligation de payer les frais judiciaires. Quant aux conditions auxquelles l'art. 64 al. 2 LTF subordonne la désignation d'un avocat d'office, elles sont également réalisées. L'attention du recourant est cependant attirée sur le fait qu'il devra rembourser la caisse du Tribunal s'il devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant. Ils seront toutefois supportés provisoirement par la caisse du Tribunal.
4. Une indemnité de 1'800 fr., supportée par la caisse du Tribunal, est allouée à Me Charles Munoz à titre d'honoraires.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 11 octobre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl