Faits:
A. Par décision du 13 octobre 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a rejeté la demande de prestations de l'assurance-invalidité présentée par O._ (née en 1964) le 26 mars 1998. Cette décision a été annulée sur recours successifs de l'assurée par le Tribunal fédéral des assurances, qui a renvoyé la cause à l'administration pour qu'elle mette en oeuvre une expertise psychiatrique, voire pluridisciplinaire (arrêt I 319/02 du 19 février 2003). En conséquence, l'office AI a chargé l'Unité d'expertise médicale de la Clinique X._ (devenue Centre d'expertises médicales; ci-après: Y._) d'examiner l'assurée. Dans leur rapport rendu le 17 mai 2004, les experts P._, M._ et S._ ont notamment diagnostiqué un épisode dépressif moyen à sévère sans syndrome somatique et un syndrome douloureux somatoforme persistant sous forme principalement de rachialgies. Ils ont retenu que la capacité de travail n'était alors pas supérieure à 30 %, mais qu'elle pouvait a priori être améliorée avec une prise en charge thérapeutique et une médication. Après avoir recueilli l'avis du docteur E._, psychiatre traitant, l'office AI a derechef rejeté la demande, au motif que l'atteinte à la santé psychique dont souffrait l'intéressée n'était pas invalidante (décision du 12 juillet 2004).
O._ s'est opposée à cette décision en concluant à l'octroi d'une rente entière d'invalidité dès le 1er octobre 1998. A la demande de l'office AI, elle s'est soumise à un examen bidisciplinaire auprès du SMR, où les docteurs F._ et C._ ont conclu à l'absence de toute pathologie somatique ou psychique ayant une répercussion sur la capacité de travail (rapport du 10 novembre 2005). Par la suite, le docteur U._ du SMR a fait état d'une incapacité de travail de 70 % entre le 1er décembre 2003 (début du suivi chez le docteur E._) et l'été 2005 (après la naissance du troisième enfant de l'assurée), en raison d'un trouble dépressif (avis du 28 juin 2006). Fort de ces conclusions, l'office AI a admis partiellement l'opposition de l'intéressée, par décision du 19 février 2007; il lui a accordé une rente entière d'invalidité, fondée sur un taux d'invalidité de 70 %, du 1er décembre 2004 au 30 septembre 2005.
B. Saisi d'un recours de l'assurée contre cette décision, le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal, Cour des assurances sociales) a demandé des renseignements complémentaires auprès de Y._ (avis du docteur P._ du 21 avril 2008). Statuant le 2 décembre 2008, il a débouté l'assurée.
C. O._ interjette un recours en matière de droit public contre ce jugement dont elle demande principalement la réforme, en ce sens qu'une rente entière d'invalidité lui soit accordée à partir du 1er octobre 1998. A titre subsidiaire, elle demande l'annulation du jugement cantonal et le renvoi de la cause au Tribunal cantonal vaudois pour instruction complémentaire sous la forme d'une expertise pluridisciplinaire auprès de Y._, puis nouvelle décision. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
1.2 Conformément aux principes relatifs au pouvoir d'examen du Tribunal fédéral développés dans l'ATF 132 V 393 consid. 3 p. 397 s., les constatations de la juridiction cantonale sur l'atteinte à la santé (diagnostic, pronostic, etc.), la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint. Dans la mesure où il en va de l'évaluation de l'exigibilité d'une activité professionnelle au regard de l'expérience générale de la vie, il s'agit d'une question de droit qui peut être examinée librement en instance fédérale; il en va ainsi des conclusions tirées de l'expérience médicale, comme par exemple, la présomption que les troubles somatoformes douloureux ou un autre syndrome semblable dont l'étiologie est incertaine et leurs effets peuvent être surmontés par un effort de volonté raisonnablement exigible (ATF 132 V 65 consid. 4.2.1 p. 70 s. et les arrêts cités, 393 consid. 3.2 p. 398 s. et les arrêts cités).
2. Le litige porte sur le droit de la recourante à une rente d'invalidité à partir du 1er octobre 1998, étant précisé que le droit à une telle prestation du 1er décembre 2004 au 30 septembre 2005 a été admis par la juridiction cantonale et est incontesté. Le jugement entrepris expose correctement les règles légales et la jurisprudence sur la notion d'invalidité, ainsi que les principes jurisprudentiels relatifs aux troubles somatoformes douloureux et à la valeur probante des rapports médicaux. Il suffit d'y renvoyer. On rappellera que selon la doctrine médicale, sur laquelle se fonde le Tribunal fédéral, les états dépressifs constituent généralement des manifestations (réactives) d'accompagnement des troubles somatoformes douloureux, de sorte qu'ils ne sauraient, en principe, faire l'objet d'un diagnostic séparé, sauf à présenter les caractères de sévérité susceptibles de les distinguer sans conteste d'un tel trouble. Tel est le cas, par exemple, en présence d'un état dépressif majeur (ATF 132 V 65 consid. 4.2.2 p. 71; 130 V 352 consid. 3.3.1 in fine p. 358).
On précisera par ailleurs que les modifications de la LAI du 6 octobre 2006 (5ème révision de la LAI), entrées en vigueur le 1er janvier 2008, n'ont pas à être prises en considération dans le présent litige, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment de la réalisation de l'état de fait dont les conséquences juridiques font l'objet de la décision administrative litigieuse (à savoir en l'espèce la décision sur opposition du 19 février 2007; ATF 130 V 445 consid. 1.2.1 p. 447).
3. Constatant (du moins de manière implicite) que la recourante était atteinte d'un trouble somatoforme douloureux, la juridiction cantonale a nié l'existence d'une comorbidité psychiatrique, en retenant que le diagnostic d'état dépressif devait être écarté - implicitement, depuis juin 2005 - compte tenu des conclusions du docteur P._ du 21 avril 2008. D'après l'autorité cantonale de recours, ce médecin avait estimé plausible "la disparition" de ce diagnostic en relation avec l'amélioration objective de la situation thymique de la recourante. Considérant par ailleurs que la recourante ne souffrait d'aucune affection corporelle chronique, qu'elle ne subissait pas de retrait social, ni ne présentait un état psychique cristallisé, les premiers juges ont retenu que les critères permettant d'admettre le caractère invalidant du trouble somatoforme douloureux n'étaient pas réunis, de sorte qu'en l'absence d'une autre affection invalidante, aucune incapacité de travail ne pouvait être admise.
4. 4.1 Invoquant le grief d'arbitraire dans l'appréciation des preuves et l'établissement des faits, la recourante reproche à la juridiction cantonale d'avoir suivi les conclusions du docteur P._ quant à la disparition de l'état dépressif liée à une évolution favorable de son état de santé, lesquelles seraient dénuées de valeur probante et ne suffiraient pas à mettre en doute l'expertise de Y._ du 17 mai 2004.
4.2 Pour constater que l'assurée ne souffrait plus d'un état dépressif constitutif d'une comorbidité psychiatrique au sens de la jurisprudence (consid. 2 supra) à partir de juin 2005, la juridiction cantonale s'est essentiellement appuyée sur l'avis du docteur P._ du 21 avril 2008 auquel elle a accordé pleine valeur probante. Elle a en revanche écarté l'avis du SMR daté du 10 novembre 2005, au motif qu'il n'émanait pas de spécialistes en psychiatrie.
4.3 L'appréciation des preuves à laquelle l'autorité de recours de première instance a ainsi procédé apparaît arbitraire. Dès lors que le docteur P._ n'est pas (non plus) spécialiste en psychiatrie (mais en médecine interne; cf. expertise du 17 mai 2004), on ne comprend pas, tout d'abord, que les premiers juges aient qualifié son avis de probant, alors qu'ils ont rejeté le rapport du SMR au motif que ses auteurs n'étaient pas spécialistes en psychiatrie.
Comme le fait valoir ensuite à juste titre la recourante, le docteur P._ a admis la "plausibilité de la disparition" de l'état dépressif uniquement en se référant au rapport du SMR, auquel la juridiction cantonale a précisément dénié valeur probante. Invité à se prononcer sur les divergences entre les conclusions de son expertise du 17 mai 2004 et le rapport d'examen rhumatologique et psychiatrique du SMR (du 10 novembre 2005), le docteur P._ s'est exprimé sans avoir revu la recourante depuis son examen initial. Ce faisant, le médecin n'a pas effectué de constatations propres sur une éventuelle amélioration de l'état de santé de l'assurée, mais s'est limité à admettre la plausibilité "a priori" d'une évolution favorable telle que mise en évidence par le rapport du SMR. Il s'est par ailleurs déterminé sur la base des deux seuls rapports des 17 avril 2004 et 10 novembre 2005, sans disposer de l'ensemble des pièces médicales versées au dossier depuis son expertise. En particulier, il s'est prononcé sans avoir eu connaissance du rapport du docteur E._ du 29 mai 2006, dans lequel le médecin traitant, s'il a fait état d'une "évolution discrètement favorable" et d'une "nouvelle amélioration lente" depuis l'été 2005, a toutefois maintenu le diagnostic de trouble dépressif, en précisant que sa gravité (épisode moyen et sévère) justifiait de le considérer comme une entité nosologique indépendante du trouble somatoforme douloureux et non comme une simple comorbidité de celui-ci, et en concluant à une capacité de travail exigible de 30 %. Une évaluation circonstanciée de la situation aurait pour le moins commandé que le médecin interpellé à ce sujet eût disposé des conclusions détaillées du docteur E._ qui mettaient en cause l'évaluation du SMR. A défaut, et dès lors que l'appréciation "au premier abord" du docteur P._ ne se fonde pas non plus sur des examens complets, l'avis du 21 avril 2008 ne pouvait être considéré comme revêtant une valeur probante suffisante au regard des exigences posées par la jurisprudence (ATF 125 V consid. 3a p. 352). Partant, faute de reposer sur une pièce médicale ayant valeur probante, la constatation de la juridiction cantonale sur l'absence de comorbidité psychiatrique apparaît insoutenable et ne peut être suivie.
4.4 Cela étant, le point de savoir si la recourante présente encore une comorbidité psychiatrique au sens de la jurisprudence depuis l'été 2005 ne peut pas être résolu au regard des pièces médicales au dossier. L'appréciation du docteur U._ du 28 juin 2006, selon laquelle l'amélioration de l'état de santé de la recourante devait être fixée à l'été 2005, s'oppose à celle du psychiatre traitant. Le docteur E._ a continué à attester d'une incapacité de travail de 70 % au-delà de cette date, nonobstant l'amélioration "discrète" de l'état dépressif, en précisant par la suite que cette amélioration ne signifiait "absolument pas que le trouble dépressif avait guéri et que la patiente avait récupéré sa capacité de travail" (avis du 4 juin 2008). Il convient dès lors de renvoyer la cause à la juridiction cantonale pour qu'elle complète l'instruction sur ce point, puis se prononce à nouveau.
5. Il se justifie de renvoyer la cause à l'autorité cantonale de recours encore pour un second motif. En instance cantonale, la recourante a conclu à l'octroi d'une rente entière d'invalidité à partir du 1er octobre 1998, en soutenant qu'une incapacité de travail de 70 % au moins avait été attestée dès le mois d'octobre 1997, le diagnostic d'état dépressif ayant été déjà été posé à cette époque. Comme elle le fait valoir à juste titre devant la Cour de céans, la juridiction cantonale ne s'est pas prononcée sur ce grief. En particulier, les premiers juges n'ont procédé à aucune constatation de fait relative au début de l'incapacité de travail déterminante, voire exposé les motifs qui les conduisaient à suivre l'appréciation de l'intimé sur ce point. Il en résulte une violation du devoir de motivation (art. 61 let. h LPGA), qui se confond ici avec une constatation incomplète des faits pertinents, ce qui conduit également à l'annulation du jugement entrepris et au renvoi de la cause à la juridiction cantonale pour nouvelle décision.
6. Vu l'issue du litige, les frais de justice sont mis à la charge de l'intimé (art. 66 al. 1 LTF). La recourante a par ailleurs droit à une indemnité de dépens pour l'instance fédérale à la charge de l'intimé, de sorte que sa demande d'assistance judiciaire est sans objet (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement du Tribunal des assurances du canton de Vaud du 2 décembre 2008 est annulé, la cause étant renvoyée à la Cour des assurances sociales du Tribunal cantonal vaudois, pour nouveau jugement au sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera à la recourante la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral des assurances sociales.
Lucerne, le 22 mars 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless