Faits: A. A._ est mère de trois enfants, dont le père est B._, avec lequel elle a été mariée à deux reprises, de 1988 à 1992, puis de février 2000 à mars 2006. A._ a exercé l'activité de trieuse de qualité pour la coopérative B._ de 1998 à 2002, avant d'être au chômage. Elle a présenté une demande de prestations de l'assurance-invalidité le 12 septembre 2005. Entre autres mesures d'instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli les avis des docteurs U._, généraliste et médecin traitant, et V._, spécialiste en psychiatrie et psychiatre traitant. Faisant état d'un trouble dépressif récurrent avec syndrome somatique et d'une personnalité borderline, le docteur V._ a attesté une incapacité totale de travail dès le 1er septembre 2003. A la requête de l'office AI, la doctoresse O._, spécialiste FMH en psychiatrie, a examiné l'assurée. Dans son rapport du 31 juillet 2007, ce médecin a diagnostiqué un trouble dépressif récurrent (épisode dépressif léger) sans syndrome somatique et une personnalité émotionnellement labile type borderline. La doctoresse O._ a indiqué que la personnalité de l'assurée se décompensait sur un mode dépressif en fonction des événements vécus par l'assurée (notamment rapports conflictuels avec sa fille aînée, séparation d'avec son époux, actes de violence de la part de ce dernier). Elle a conclu à une incapacité de travail de 70 % de janvier 2004 à fin mars 2006, puis de 35 % dans une activité simple à partir du mois d'avril 2006. Le 30 septembre 2009, l'office AI a rendu une décision par laquelle il a mis l'assurée au bénéfice d'une rente entière d'invalidité pour la période du 1er janvier 2005 au 30 juin 2006, puis nié le droit à une rente au-delà de cette date. B. A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui a chargé le docteur L._, spécialiste FMH en psychiatrie et psychothérapie, d'une expertise. Celui-ci s'est adjoint l'aide du docteur N._, spécialiste en médecine interne générale, qui a conclu que l'assurée ne présentait pas d'atteinte à la santé physique de nature à entraîner une incapacité de travail (rapport du 9 mars 2012). De son côté, le docteur L._ a diagnostiqué un trouble douloureux somatoforme persistant, une dysthymie et un trouble mixte de la personnalité avec traits anxieux et histrioniques. Selon lui, A._ avait présenté une incapacité de travail d'au moins 80 % du 1er septembre 2003 au 31 décembre 2008, puis de 50 %, son état de santé psychique s'étant amélioré en raison de la cessation du harcèlement dont elle avait été victime de la part de son ex-mari (rapport du 20 avril 2012). Statuant le 5 septembre 2012, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours et réformé la décision du 30 septembre 2009 en ce sens qu'une rente entière d'invalidité était allouée à l'assurée pour la période du 1er septembre 2004 au 31 mars 2009. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler le jugement cantonal, ainsi que la décision de l'office AI du 30 septembre 2009. Elle conclut à ce que soit reconnu son droit à une rente entière à partir du 1er septembre 2004, sans limitation dans le temps. A titre subsidiaire, elle demande le renvoi de la cause à l'administration pour instruction complémentaire et nouvelle décision au sens des considérants; plus subsidiairement encore, elle requiert que lui soit reconnu le droit à une rente entière du 1er septembre 2004 au 31 mars 2009, puis à une demi-rente à partir du 1er avril 2009. Elle sollicite également le bénéfice de l'assistance judiciaire tendant à la dispense des frais judiciaires.