Faits:
A. A._ est mère de trois enfants, dont le père est B._, avec lequel elle a été mariée à deux reprises, de 1988 à 1992, puis de février 2000 à mars 2006. A._ a exercé l'activité de trieuse de qualité pour la coopérative B._ de 1998 à 2002, avant d'être au chômage. Elle a présenté une demande de prestations de l'assurance-invalidité le 12 septembre 2005.
Entre autres mesures d'instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli les avis des docteurs U._, généraliste et médecin traitant, et V._, spécialiste en psychiatrie et psychiatre traitant. Faisant état d'un trouble dépressif récurrent avec syndrome somatique et d'une personnalité borderline, le docteur V._ a attesté une incapacité totale de travail dès le 1er septembre 2003. A la requête de l'office AI, la doctoresse O._, spécialiste FMH en psychiatrie, a examiné l'assurée. Dans son rapport du 31 juillet 2007, ce médecin a diagnostiqué un trouble dépressif récurrent (épisode dépressif léger) sans syndrome somatique et une personnalité émotionnellement labile type borderline. La doctoresse O._ a indiqué que la personnalité de l'assurée se décompensait sur un mode dépressif en fonction des événements vécus par l'assurée (notamment rapports conflictuels avec sa fille aînée, séparation d'avec son époux, actes de violence de la part de ce dernier). Elle a conclu à une incapacité de travail de 70 % de janvier 2004 à fin mars 2006, puis de 35 % dans une activité simple à partir du mois d'avril 2006.
Le 30 septembre 2009, l'office AI a rendu une décision par laquelle il a mis l'assurée au bénéfice d'une rente entière d'invalidité pour la période du 1er janvier 2005 au 30 juin 2006, puis nié le droit à une rente au-delà de cette date.
B. A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui a chargé le docteur L._, spécialiste FMH en psychiatrie et psychothérapie, d'une expertise. Celui-ci s'est adjoint l'aide du docteur N._, spécialiste en médecine interne générale, qui a conclu que l'assurée ne présentait pas d'atteinte à la santé physique de nature à entraîner une incapacité de travail (rapport du 9 mars 2012). De son côté, le docteur L._ a diagnostiqué un trouble douloureux somatoforme persistant, une dysthymie et un trouble mixte de la personnalité avec traits anxieux et histrioniques. Selon lui, A._ avait présenté une incapacité de travail d'au moins 80 % du 1er septembre 2003 au 31 décembre 2008, puis de 50 %, son état de santé psychique s'étant amélioré en raison de la cessation du harcèlement dont elle avait été victime de la part de son ex-mari (rapport du 20 avril 2012).
Statuant le 5 septembre 2012, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours et réformé la décision du 30 septembre 2009 en ce sens qu'une rente entière d'invalidité était allouée à l'assurée pour la période du 1er septembre 2004 au 31 mars 2009.
C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler le jugement cantonal, ainsi que la décision de l'office AI du 30 septembre 2009. Elle conclut à ce que soit reconnu son droit à une rente entière à partir du 1er septembre 2004, sans limitation dans le temps. A titre subsidiaire, elle demande le renvoi de la cause à l'administration pour instruction complémentaire et nouvelle décision au sens des considérants; plus subsidiairement encore, elle requiert que lui soit reconnu le droit à une rente entière du 1er septembre 2004 au 31 mars 2009, puis à une demi-rente à partir du 1er avril 2009. Elle sollicite également le bénéfice de l'assistance judiciaire tendant à la dispense des frais judiciaires.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Au regard des motifs et conclusions du recours, le litige porte sur le droit de la recourante à une rente d'invalidité à partir du 1er avril 2009, son droit à la rente entière pour la période du 1er septembre 2004 au 31 mars 2009 tel que reconnu par la juridiction cantonale n'étant pas remis en cause. A cet égard, le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables en l'espèce, en particulier celles sur la modification du droit à la rente ensuite notamment de l'amélioration de l'état de santé de l'assuré (art. 17 LPGA), ainsi que sur les conditions dans lesquelles un trouble somatoforme douloureux peut à titre exceptionnel présenter un caractère invalidant. Il suffit donc d'y renvoyer.
3. Se fondant sur les rapports respectifs des docteurs N._ et L._, les premiers juges ont constaté que la recourante ne présentait pas d'atteinte à la santé physique entraînant une incapacité de travail; sur le plan psychique, elle souffrait en revanche d'un trouble somatoforme douloureux persistant, d'une dysthymie et d'un trouble mixte de la personnalité avec traits anxieux et histrioniques qui avaient entraîné une incapacité de travail de 70 % au moins de septembre 2003 à la fin de l'année 2008. Depuis lors, l'assurée avait bénéficié d'un soulagement réel sur le plan psychique après le départ de son ex-mari; la gravité des atteintes psychiques avait diminué, le trouble dépressif ayant fait place à une dysthymie. De l'avis des premiers juges, l'appréciation divergente du docteur V._ relative à la persistance d'un état dépressif grave et d'un trouble grave de la personnalité "décompensé" ne pouvait être suivie au regard des explications convaincantes données à ce sujet par l'expert judiciaire.
Se référant ensuite à la jurisprudence en matière de troubles somatoformes douloureux, la juridiction cantonale a considéré que pour la période courant à partir du 1er janvier 2009, les atteintes dont souffrait alors la recourante ne pouvaient pas être considérées comme invalidantes dans la mesure retenue par le docteur L._. En l'absence de comorbidité psychiatrique - les diagnostics de dysthymie et de trouble mixte de la personnalité n'en revêtaient pas le caractère -, et comme les autres critères posés par la jurisprudence n'étaient pas réalisés, cette atteinte n'empêchait pas l'assurée de reprendre une activité professionnelle à un taux de 65 % au moins, comme l'avait constaté la doctoresse Lomier-Viret.
Evaluant l'invalidité présentée par la recourante en fonction de l'incapacité de travail ainsi mise en évidence, l'autorité cantonale de recours a fixé à 36 % le taux d'invalidité présenté par la recourante à partir du 1er janvier 2009, de sorte qu'elle ne pouvait plus prétendre une rente d'invalidité à partir du 1er avril 2009 (en application de l'art. 88a al. 1 RAI [en relation avec l'art. 17 LPGA]).
4. La recourante fait tout d'abord grief aux premiers juges d'avoir constaté les faits de manière manifestement inexacte en retenant que son état de santé s'était amélioré à partir de janvier 2009. Son argumentation ne saurait être suivie. Les premiers juges ont en effet procédé à une appréciation circonstanciée des pièces médicales relatives à cette question et dûment expliqué les raisons pour lesquelles ils donnaient la préférence à l'appréciation du docteur L._ et non pas à celle du docteur V._. C'est dès lors en vain que la recourante nie toute amélioration de ses troubles psychiques, en se référant aux avis de son psychiatre traitant des 19 janvier 2009 et 29 mars 2010; elle ne met pas en évidence des éléments qui n'auraient pas été pris en considération par le docteur L._, qui avait connaissance des circonstances qu'elle invoque (notamment, harcèlement de la part de son ex-mari jusqu'en septembre 2008 [expertise du 20 avril 2012, p. 14] et apparition de lipomes cutanés [expertise du docteur N._ du 9 mars 2012, p. 2 et 5]).
Le choix de suivre les conclusions de l'expert et non pas celles du psychiatre traitant sur l'évolution de l'état de santé psychique de la recourante relève en définitive de la libre appréciation des preuves et n'apparaît nullement arbitraire au regard de la valeur probante accordée par la jurisprudence à une expertise judiciaire (ATF 125 V 351 consid. 3b/aa p. 352 et les références).
5. 5.1 La recourante reproche ensuite aux premiers juges de s'être écartés de l'appréciation du docteur L._, selon laquelle elle disposait d'une capacité de travail de 50 % (dans une activité simple) à partir de janvier 2009, et d'avoir suivi celle de la doctoresse O._, qui avait conclu à une capacité de travail de 65 %. Selon la recourante, dès lors que le docteur L._ avait dûment pris en considération l'ensemble des critères relatifs au caractère invalidant de troubles somatoformes douloureux, il n'y avait pas lieu de s'écarter de son expertise sur ce point, ni, surtout, de se référer à l'évaluation de la doctoresse O._ qui n'avait pas été jugée suffisante, dès lors qu'une expertise judiciaire avait été mise en oeuvre. La recourante fait par ailleurs valoir qu'à l'inverse de ce qu'a retenu la juridiction cantonale, une comorbidité psychiatrique est avérée, puisque le docteur L._ a indiqué que le trouble somatoforme persistant "est accompagné d'une comorbidité psychiatrique de longue durée mais dont l'intensité fluctue au cours du temps". Aussi, même en admettant une amélioration de l'état de santé au 1er janvier 2009, c'est une capacité de travail de tout au plus 50 % qui aurait dû être retenue.
5.2 Lorsqu'il s'agit pour le Tribunal fédéral d'examiner si l'assuré présente un trouble somatoforme douloureux - ou un autre syndrome semblable dont l'étiologie est incertaine (ATF 132 V 393 consid. 3.2 p. 399) - ayant des effets invalidants, les règles suivantes sont applicables. Le point de savoir s'il existe un trouble somatoforme douloureux, et le cas échéant, si une comorbidité psychiatrique ou d'autres circonstances qui empêchent l'assuré de surmonter les douleurs sont présentes relève de constatations de fait qui ne peuvent être examinées par le Tribunal fédéral que de manière limitée (consid. 1 supra). Constitue en revanche une question de droit que le tribunal peut contrôler librement le point de savoir si une comorbidité psychiatrique constatée est suffisamment sévère ou si un ou plusieurs autres critères constatés présentent une acuité et une durée suffisantes pour en déduire, dans l'ensemble, que le trouble somatoforme douloureux et ses effets ne peuvent pas être surmontés par un effort de volonté raisonnablement exigible et conclure, en conséquence, à une atteinte à la santé invalidante (ATF 137 V 64 consid. 1.2 p. 66).
5.3 Quoi qu'en dise la recourante, les constatations de la juridiction cantonale relatives à l'absence d'une comorbidité psychiatrique déterminante - à savoir importante par sa gravité, son acuité et sa durée, cf. ATF 130 V 352 consid. 2.2.3 p. 354; 132 V 65 consid. 4.2.2 p. 71) - et d'autres critères pertinents pour admettre le caractère invalidant du trouble somatoforme douloureux (dans la mesure admise par le docteur L._) ne sont pas manifestement inexactes.
L'expert a certes fait état d'une comorbidité psychiatrique de longue durée, mais il a précisé que l'intensité de celle-ci fluctuait au cours du temps. Ainsi, pour la période courant à partir du 1er janvier 2009, il a indiqué que le diagnostic de trouble dépressif ne pouvait plus être retenu, ce trouble s'étant progressivement estompé pour laisser place à une dysthymie, alors que le trouble mixte de la personnalité avec traits anxieux et histrioniques (présent depuis le début de l'âge adulte de l'expertisée) n'était pas source de difficultés de socialisation ou d'insertion professionnelle. L'expert a en définitive conclu qu'"en raison du trouble douloureux somatoforme persistant et de la dysthymie la capacité de travail de l'expertisée n'est pas complète mais diminuée de 50 %, sans diminution de rendement".
Au regard de ces observations médicales, on ne saurait retenir que le trouble somatoforme douloureux dont souffre la recourante est accompagné d'une comorbidité psychiatrique importante par sa gravité, son acuité et sa durée, dès lors que le trouble mixte de la personnalité avec traits anxieux et histrioniques n'entraîne pas, selon l'expert, de limitation de la capacité de travail, et que la dysthymie ne peut être considérée comme une comorbidité indépendante (cf. ATF 130 V 352 consid. 3.3.1 in fine p. 358). Il ressort par ailleurs des constatations de la juridiction cantonale que parmi les critères permettant de reconnaître exceptionnellement le caractère invalidant du trouble somatoforme douloureux (en l'absence de comorbidité psychiatrique déterminante), seul celui de l'état psychique cristallisé semble réalisé. Ces constatations ne sont pas sérieusement remises en cause par la recourante, qui se limite à soutenir que ses relations sociales apparaissent limitées, et lient le Tribunal fédéral.
Par conséquent, compte tenu de l'ensemble des circonstances retenu par les premiers juges, notamment une discordance entre la réalité et les plaintes de l'assurée, on ne peut admettre le caractère invalidant du trouble somatoforme douloureux dont souffre la recourante, quand bien même l'expert a conclu à une incapacité de travail de 50 %. En d'autres termes, il apparaît au terme d'une appréciation (juridique) des constatations médicales de l'expert que la présomption selon laquelle cette atteinte et ses effets peuvent être surmontés par un effort de volonté raisonnablement exigible de la part de la recourante n'est pas renversée.
5.4 On peut se demander si, de manière conséquente, la juridiction cantonale n'aurait pas dû nier toute incapacité de travail de l'assurée à partir du 1er janvier 2009, au lieu de se référer à l'appréciation de la doctoresse O._, qui n'avait pas connaissance de l'ensemble des circonstances comme l'ont relevé les premiers juges (jugement entrepris, consid. 4). Ce point peut cependant demeurer indécis, puisque le fait d'admettre une capacité de travail de 65 % (au lieu de 100 %) ne conduit pas à un taux d'invalidité suffisant pour maintenir le droit à une rente d'invalidité, comme le démontre la comparaison des revenus à laquelle ont procédé les premiers juges.
A cet égard, les critiques de la recourante concernant l'abattement effectué par la juridiction cantonale (de 5 %) sur le revenu d'invalide ne démontrent pas en quoi celle-ci aurait commis un excès positif ou négatif de son pouvoir d'appréciation ou en aurait abusé (voir ATF 132 V 393 consid. 3.3 p. 399). En particulier, la "longue absence du marché du travail" ne constitue pas un facteur déterminant pour l'abattement (ATF 126 V 75 consid. 5b/aa p, 79), alors que de son propre aveu, aucune atteinte à la santé invalidante sur le plan somatique n'a été retenue sur le plan médical et ne saurait donc justifier une quelconque limitation. Il n'y a dès lors pas lieu d'appliquer un abattement différent au revenu d'invalide.
6. Il résulte de ce qui précède que le recours est en tout point mal fondé.
7. Vu l'issue du litige, la recourante doit en principe supporter les frais judiciaires y afférents (art. 66 al. 1 LTF). Elle a cependant sollicité le bénéfice de l'assistance judiciaire, en demandant à être dispensée du versement de frais judiciaires pour l'instance fédérale. Dès lors que les conditions en sont réalisées (art. 68 al. 1 LTF), l'assistance judiciaire lui est accordée dans la mesure requise. L'attention de la recourante est toutefois attirée sur le fait qu'elle devra rembourser la caisse du Tribunal fédéral si elle devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée à la recourante.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 30 avril 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless