Faits:
A. A.a Le 13 juillet 1998, C._ (née en 1971), mariée et mère de deux enfants nés en 1994 et en 1996, a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Dans un rapport du 11 août 1998, le docteur R._, chirurgien-chef de l'Hôpital X._ a indiqué que l'intéressée, atteinte d'une tumeur desmoïde de la paroi abdominale, avait subi trois opérations (en juillet, août et septembre 1997), à la suite desquelles la paroi abdominale restait faible et nécessitait le port permanent d'une ceinture élastique de contention qui occasionnait des douleurs lors du port de charges. Il a conclu que la profession de vendeuse exercée par la patiente n'était plus adaptée, mais qu'un travail à plein temps dans une activité ne nécessitant pas de travaux physiques pouvait être envisagée sans difficulté (rapport du 11 août 1998). De son côté, le docteur G._, médecin traitant, a fait état d'un status après trois interventions pour tumeur desmoïde de la paroi abdominale, ainsi que d'un état dépressivo-anxieux probablement secondaire, pour lequel il avait instauré un traitement d'antidé-presseurs ayant légèrement amélioré la situation de sa patiente. Attestant d'une incapacité de travail ininterrompue depuis le 22 août 1997, il a précisé que l'activité de vendeuse n'était plus adaptée et que des mesures professionnelles étaient prématurées (rapports des 24 août 1998 et 26 juillet 1999).
Après avoir recueilli de nouveaux avis des docteurs G._ (rapport du 28 mars 2000) et R._ (rapports des 10 et 13 juillet 2000), l'office AI a mis en oeuvre une enquête économique sur le ménage, le 17 juin 2002, dont il ressortait que l'assurée présentait un taux d'invalidité dans l'activité ménagère de 48,1 % pour la période de juin 1996 à août 2000. Lors d'un entretien avec un collaborateur de l'office AI, C._ a déclaré que sans atteinte à la santé, elle aurait repris une activité à plein temps en septembre 2000, son enfant cadet ayant alors commencé l'école enfantine (rapport de la division administrative de l'office AI du 31 août 2001). Sur requête de l'administration, l'assurée a été soumise à un examen bidisciplinaire auprès de la doctoresse L._, psychiatre, et du docteur A._, généraliste, tous deux médecins auprès du Service médical régional AI (SMR). Dans leur rapport du 9 janvier 2003, ces médecins ont conclu à une capacité de travail entière sur le plan psychique à la suite d'une amélioration de son état de santé six mois auparavant; sur le plan somatique, ils ont retenu une pleine capacité de travail dans une activité adaptée dès le mois de juin 2002.
Le 23 septembre 2004, l'office AI a rendu deux décisions par lesquelles il a octroyé à C._ une demi-rente d'invalidité du 1er août 1998 au 30 novembre 2000, fondée sur un empêchement dans la tenue du ménage de 48,1 % (l'assurée, qui devait être considérée comme non active d'août 1997 à août 2000, réalisant les conditions du cas pénible), puis une rente entière du 1er décembre 2000 au 31 mai 2002, fondée sur un taux d'invalidité de 50 % (en reconnaissant à l'assurée le statut de personne active à partir de septembre 2000). En bref, il a considéré que l'intéressée ne présentait plus de préjudice économique à partir de juin 2002, puisqu'elle pouvait mettre en oeuvre une pleine capacité de travail dans une activité adaptée dès cette date.
A.b C._ s'étant opposée aux décisions du 23 septembre 2004 en faisant valoir une aggravation de son état de santé (avis du docteur G._ du 9 décembre 2004), l'office AI a requis des renseignements complémentaires du collaborateur ayant effectué l'enquête sur le ménage (réponses du 20 décembre 2005) et chargé le SMR d'un nouvel examen de l'intéressée, qui a été effectué par les docteurs U._, spécialiste en médecine physique et rééducative, et N._, psychiatre. Dans leur rapport du 26 juillet 2006, les médecins ont diagnostiqué, avec répercussion sur la capacité de travail, des douleurs chroniques de la paroi abdominale gauche et un status après résection du quadrant inférieur de la musculature abdominale gauche, les autres diagnostics (status après hystérectomie [en 2002], surcharge pondérale, exagération des plaintes pour raisons assécurologiques et trouble dépressif récurrent, épisode actuel léger sans syndrome somatique [F33.00]) étant sans répercussion sur la capacité de travail. Selon eux, moyennant le respect de certaines limitations (pas de port de charges de plus de 5kg, port d'une ceinture abdominale pour les activités physiques, pas de position assise au-delà d'une heure et quart, pas de position debout de plus de trente minutes, pas de marche de plus d'une heure, pas de position du tronc en antéflexion ou en porte-à-faux et possibilité de varier les positions au minimum une fois par heure de préférence à sa guise), la capacité de travail de l'assurée était de 50 % dans une activité de vente de produits alimentaires et de 100 % dans une activité adaptée.
Se fondant sur ces conclusions, l'office AI a, le 4 octobre 2006, partiellement admis l'opposition de l'assurée, en ce sens qu'il a fixé au 1er juillet 1998 le début du droit à un quart de rente d'invalidité (confirmant pour le surplus ses décisions du 23 septembre 2004). Par décision du 24 octobre 2006, l'office AI a fixé à 1'656 fr. la demi-rente de l'assurée pour le mois de juillet 1998 (y compris les demi-rentes complémentaires pour enfant et les intérêts moratoires).
B. B.a C._, qui avait entre-temps quitté la Suisse pour s'installer à l'étranger, a déféré ces décisions au Tribunal cantonal des assurances sociales du canton de Vaud (aujourd'hui: Cour des assurances sociales du Tribunal cantonal du canton de Vaud). Par jugement du 8 avril 2008, celui-ci a admis les recours et renvoyé la cause à l'office AI "pour qu'il procède à un nouvel examen psychiatrique, conformément aux considérants", puis rende une nouvelle décision. En bref, il a considéré que le docteur N._ n'était pas un spécialiste en psychiatrie et que, de ce fait, la valeur probante de son rapport était affaiblie, de sorte qu'un complément d'instruction sur le plan psychiatrique s'imposait.
B.b Reprenant l'instruction du cas, l'office AI a demandé au docteur T._, psychiatre au SMR, de se prononcer sur l'appréciation du docteur N._. Dans son rapport du 11 novembre 2008, le docteur T._ a approuvé, après avoir analysé les différentes pièces médicales au dossier, les motifs et les conclusions posées par le docteur N._ lors de l'examen bidisciplinaire du 27 avril 2006.
Par deux décisions du 7 avril 2009, l'office AI a octroyé à l'assurée une demi-rente d'invalidité pour la période du 1er juillet 1998 au 30 novembre 2000, puis une rente entière du 1er décembre 2000 au 31 août 2002.
B.c Statuant le 4 février 2011 sur le recours formé par C._ contre ces deux décisions, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud l'a partiellement admis. Réformant la décision du 7 avril 2009 portant sur la rente entière à partir du 1er décembre 2000, il a reconnu à l'intéressée le droit à cette prestation du 1er décembre 2000 au 28 février 2003, et confirmé, pour le surplus, les décisions administratives.
C. C._ interjette un recours en matière de droit public contre ce jugement, dont elle demande l'annulation. Elle conclut, sous suite de frais et dépens, principalement à l'octroi d'une rente entière, non limitée dans le temps, dès le 1er juillet 1998; subsidiairement, elle requiert le renvoi de la cause à l'autorité cantonale pour complément d'instruction sous la forme d'une expertise confiée à un spécialiste psychiatre neutre et indépendant, puis nouvelle décision.
L'office AI conclut implicitement au rejet du recours tandis que l'Office fédéral des assurances sociales (OFAS) a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140). Par ailleurs, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2. Est litigieux en l'espèce le droit de la recourante à une rente de l'assurance-invalidité, singulièrement le taux de celle-ci du 1er juillet 1998 au 30 novembre 2000 et l'octroi d'une rente entière au-delà du 28 février 2003. A cet égard, le jugement entrepris expose correctement les règles légales et la jurisprudence sur la notion d'invalidité et son évaluation, ainsi que sur la valeur probante des rapports médicaux, de sorte qu'il suffit d'y renvoyer.
3. 3.1 Sur le plan médical, la juridiction cantonale a tout d'abord constaté que la capacité de travail de la recourante sous l'angle psychiatrique était entière dès le mois de juin 2002. Elle a fondé son appréciation sur le rapport psychiatrique du 27 avril 2006 établi par le docteur N._ et "validé" par le docteur T._ qui a confirmé ultérieurement les motifs et les conclusions de son confrère.
3.2 La recourante conteste, d'une part, que l'avis du docteur T._ du 11 novembre 2008 ait une quelconque force probante, dès lors qu'il n'a pas valeur d'expertise. Le médecin s'est déterminé sans avoir examiné l'assurée et ses conclusions ne sont pas motivées. La recourante est par ailleurs d'avis qu'il n'est pas acceptable de demander à un médecin du SMR de se prononcer sur la valeur d'un rapport émis par un de ses collègues, car il sera enclin à ne pas s'écarter de l'avis donné par un confrère avec lequel il collabore régulièrement. D'autre part, elle s'en prend au rapport du docteur N._ en faisant valoir qu'il n'a pas de valeur probante, parce que le médecin n'avait pas à l'époque de l'expertise le titre de psychiatre FMH, dont il s'est prévalu à tort. De plus, en accordant pleine valeur probante au rapport du docteur N._ dans la présente affaire, la juridiction cantonale se déjugerait puisqu'elle n'avait reconnu qu'une valeur probante affaiblie au même rapport dans un jugement du 8 avril 2008 liant les mêmes parties.
4. 4.1 Par son jugement du 8 avril 2008, la juridiction cantonale a renvoyé la cause à l'intimé "pour qu'il procède à un nouvel examen psychiatrique, conformément aux considérants, puis rende telle nouvelle décision que de droit" (ch. III du dispositif). Selon les considérants du jugement, le dossier ne comportait pas d'avis émanant d'un spécialiste en psychiatrie, de sorte qu'il devait être retourné à l'office AI pour complément d'instruction sur le plan psychiatrique, puis nouvelle décision. En particulier, le rapport des docteurs N._ et U._ du 26 juillet 2006 était entaché d'un "vice dirimant", dès lors qu'au moment où il avait examiné l'assurée, puis signé le rapport avec la mention "psychiatre FMH", le docteur N._ n'avait pas encore terminé la formation postgrade lui permettant d'obtenir le titre de psychiatre FMH; la fiabilité et la valeur probante de son avis étaient dès lors affaiblies.
4.2 Lorsque l'autorité de recours statue, comme en l'espèce, par une décision de renvoi, l'autorité à laquelle la cause est renvoyée, de même que celle qui a rendu la décision sur recours sont tenues de se conformer aux instructions du jugement de renvoi. Ainsi, l'autorité inférieure doit fonder sa nouvelle décision sur les considérants de droit du jugement de renvoi. Ce principe, qui était exprimé en matière civile à l'art. 66 al. 1 aOJ, est applicable même en l'absence de texte et vaut, partant, dans la procédure administrative en général (ATF 117 V 237 consid. 2a p. 241); la jurisprudence du Tribunal fédéral y relative (rendue en rapport avec l'art. 66 al. 1 OJ) reste applicable sous l'empire de la LTF (arrêt 4A_71/2007 du 19 octobre 2007, consid. 2.1 et 2.2). L'autorité inférieure voit donc sa latitude de jugement limitée par les motifs du jugement de renvoi, en ce sens qu'elle est liée par ce qui a été déjà définitivement tranché par l'autorité de recours (cf. ATF 131 III 91 consid. 5.2 p. 94; 120 V 233 consid. 1a p. 237), laquelle ne saurait, de son côté, revenir sur sa décision à l'occasion d'un recours subséquent (REAS 2007 p. 62 [arrêt I 694/05 du 15 décembre 2006]; ULRICH MEYER/ISABEL VON ZWEHL, L'objet du litige en procédure de droit administratif fédéral, in: Mélanges Pierre Moor, Berne 2005, n. 30.4 p. 448).
4.3 Il ressort des considérants du jugement du 8 avril 2008, qui liaient l'office AI à laquelle la cause a été renvoyée et sur lesquels la juridiction cantonale ne pouvait, de son côté, revenir à l'occasion d'un recours subséquent, que le rapport du docteur N._ n'avait pas valeur probante et ne pouvait servir de seule base d'appréciation de l'état de santé psychique de l'assurée (ce qui apparaît au demeurant conforme aux principes dégagés par le Tribunal fédéral dans l'arrêt I 65/07 du 31 août 2007). Aussi, faute de disposer d'un avis psychiatrique ayant pleine valeur probante, l'administration aurait-elle été tenue de compléter l'instruction sur le plan psychiatrique en confiant une expertise à un spécialiste en ce domaine.
En l'espèce, la mesure d'instruction de l'intimé qui a consisté à soumettre l'avis du docteur N._ à l'appréciation du docteur T._, psychiatre du SMR, lequel a approuvé les conclusions de son confrère, n'était pas suffisante pour suppléer l'absence d'une évaluation psychiatrique conforme au droit, respectivement "établir la valeur probante de l'avis médical litigieux", contrairement à ce qu'a retenu la juridiction cantonale. Outre le fait que l'avis du docteur T._ du 11 novembre 2008 n'est motivé que de façon très succincte, son auteur s'est en effet déterminé sur les conclusions de son collègue en fonction uniquement des pièces du dossier, sans rencontrer ni partant examiner l'assurée, alors qu'une expertise psychiatrique doit en principe être effectuée sur la base d'une consultation médicale (arrêt 8C_941/2010 du 18 mai 2011 consid. 5.2 et U 492/00 du 31 juillet 2001 consid. 3d, publié in RAMA 2001 n° U 438 p. 345). Un psychiatre ne peut dès lors "valider" l'avis d'un collègue s'il n'a pas lui-même examiné l'assuré, ce d'autant plus qu'une évaluation psychiatrique comporte une importante marge d'appréciation pour l'exercice de laquelle les impressions directes de la personne soumise à l'examen psychiatrique sont essentielles.
Dans ces circonstances, la juridiction cantonale n'était pas en droit de se fonder sur le rapport du docteur N._ pour en tirer des constatations sur l'état de santé de la recourante sur le plan psychiatrique, mais aurait dû ordonner la mise en oeuvre d'une expertise dans ce domaine, afin de se prononcer en connaissance de cause. Par conséquent, la conclusion subsidiaire de la recourante est bien fondée, sans que ses autres arguments doivent être examinés. Le jugement entrepris doit donc être annulé et la cause renvoyée à l'autorité cantonale de recours pour qu'elle procède à un complément d'instruction sous la forme d'une expertise psychiatrique, puis se prononce à nouveau.
5. Vu l'issue du litige, l'intimé, qui succombe, doit supporter les frais judiciaires (art. 66 al.1 LTF). Il prendra également à sa charge l'indemnité de dépens pour l'instance fédérale à laquelle a droit la recourante (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 4 février 2011 est annulé.
2. La cause est renvoyée à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud pour qu'elle complète l'instruction au sens des considérants, puis se prononce à nouveau.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
4. L'intimé versera à la recourante la somme de 2'800 fr. à titre de dépens pour la dernière instance.
5. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 22 novembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless