Faits: A. M._ travaillait comme employé d'exploitation au service de l'entreprise X._ SA. Le 7 octobre 2002, il a été victime d'un accident de la circulation au cours duquel il a été blessé à la jambe droite, au bras gauche et à la tête (avec laquelle il avait heurté le pare-brise). Il a été hospitalisé jusqu'au 22 octobre 2002 pour une fracture complexe du fémur droit et une fracture du cubitus gauche médio-diaphysaire. La Caisse nationale suisse d'assurance en cas d'accidents (CNA), auprès de laquelle M._ était assuré, a pris en charge le cas. La convalescence a été longue en raison d'un retard dans la consolidation de la fracture du fémur et du développement d'une pseudarthrose; plusieurs interventions chirurgicales ont été nécessaires. Au printemps 2004, un bilan médical à la Clinique Y._ a également mis en évidence un état de stress post-traumatique, atteinte pour laquelle l'assuré a été suivi par le docteur S._, psychiatre de l'unité de psychiatrie ambulatoire de Z._. A la demande du docteur O._, médecin d'arrondissement de la CNA, qui a procédé à des examens réguliers, une expertise psychiatrique été confiée à la doctoresse L._. Dans un rapport du 14 janvier 2006, celle-ci a posé les diagnostics de modification durable de la personnalité après une expérience de catastrophe [F62.0], de dysthymie [F34.1] et de syndrome douloureux somatoforme persistant [F45.4]. Elle a évalué la capacité de travail de l'assuré à 70 % dans une activité simple au jour de l'expertise. Le 19 mars 2006, le docteur O._ a effectué un examen final. Il a constaté que globalement, l'assuré s'était suffisamment remis de ses lésions accidentelles pour pouvoir reprendre une activité adaptée à raison de 6 heures par jour. Après avoir, dans un premier temps, mis fin aux indemnités journalières au 30 septembre 2006, la CNA en a repris le versement à partir du 1er octobre 2006 en raison d'une nouvelle opération prévue en janvier 2007. Entre-temps, au mois de juillet 2003, M._ a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli le dossier de la CNA et les avis des médecins traitants, les docteurs C._ (chirurgien orthopédiste) et S._. Il a également organisé un stage d'observation professionnelle au Centre W._ (en automne 2007), et mandaté la doctoresse L._ pour une nouvelle évaluation psychiatrique. Celle-ci a retenu une situation superposable à celle qu'elle avait constatée en 2006. Elle a précisé que l'incapacité de travail de l'assuré avait évolué comme suit: 100 % d'octobre 2002 à début 2004; 60 % de mi-2004 à fin 2005; 30 % à partir de janvier 2006 (rapport d'expertise du 19 novembre 2008). Par décision du 27 janvier 2010, confirmée sur opposition le 25 mars suivant, la CNA a alloué à l'assuré une rente LAA fondée sur un degré d'invalidité de 39 % dès le 1er janvier 2010. Les recours formés contre la décision sur opposition ont été rejetés par la Cour des assurances sociales du Tribunal cantonal vaudois (jugement du 15 septembre 2011; cause AA 41/10 - 106/2011) et par le Tribunal fédéral (arrêt de ce jour; cause 8C_782/2011). De son côté, l'Office AI a octroyé à M._ le droit à une rente entière du 1er octobre 2003 au 30 novembre 2004, à trois quarts de rente du 1er décembre 2004 au 31 mars 2006, la prestation étant supprimée au 1er avril 2006, puis à nouveau à une rente entière limitée dans le temps du 1er janvier au 31 mai 2007 (décision du 9 avril 2010). B. L'assuré a déféré la décision de l'office AI à la Cour des assurances sociales du Tribunal cantonal vaudois qui a rejeté son recours, par jugement du 15 septembre 2011 (cause AI 186/10 - 428/2011). C. M._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Il conclut à l'octroi d'une rente AI basée sur un degré d'invalidité de 56 % à partir du 1er avril 2006 (à l'exception de la période de janvier à mai 2007); subsidiairement, au renvoi de la cause à la juridiction cantonale pour complément d'instruction sous la forme d'une nouvelle expertise psychiatrique auprès du docteur A._, psychiatre. Il demande en outre à bénéficier de l'assistance judiciaire. L'office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.