Faits:
A. N._ a travaillé comme employée de maison et femme de ménage jusqu'au 24 janvier 2003, date à partir de laquelle elle a été mise en arrêt de travail par son médecin traitant, le docteur L._. Le 9 mars 2004, elle a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements économiques (cf. rapport d'enquête économique sur le ménage du 15 octobre 2004) et médicaux, dont une expertise du docteur G._, spécialiste en neurochirurgie (établie le 16 décembre 2003 à la demande de l'assureur perte de gain de l'intéressée). Il a par ailleurs chargé le docteur S._, spécialiste en rhumatologie et médecine interne, d'examiner l'assurée. Dans un rapport du 23 juin 2005, celui-ci a fait état d'un syndrome lombovertébral sans signe radiculaire irritatif ou déficitaire avec discopathie modérée L4-L5 et d'un syndrome polyalgique idiopathique diffus chronique (avec présence de tous les points de fibromyalgie), en raison desquels la capacité de travail de l'assurée dans son activité antérieure était de 70 %; dans une activité adaptée tenant compte des limitations fonctionnelles indiquées, la capacité de travail était en revanche de 100 %.
L'administration a alors soumis N._ à une expertise auprès du docteur B._, Directeur médical du Secteur psychiatrique de l'Hôpital X._. Diagnostiquant un trouble dépressif récurrent d'intensité moyenne sans syndrome somatique, un retard mental léger et des troubles mixtes de la personnalité, le médecin a conclu à une capacité de travail de 30 % du point de vue psychiatrique (rapport du 14 septembre 2007, complété le 26 octobre suivant). Après avoir soumis le dossier à son Service médical régional (SMR), l'office AI a rendu une décision le 11 novembre 2008, par laquelle il a nié le droit de l'assurée à une rente d'invalidité, au motif que le taux d'invalidité fixé à 19 % en application de la méthode mixte d'évaluation de l'invalidité était insuffisant pour ouvrir ce droit.
B. Statuant le 9 février 2010 sur le recours formé par l'intéressée contre cette décision, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté.
C. N._ interjette un recours en matière de droit public contre le jugement cantonal. Sous suite de dépens, elle conclut principalement à la réforme de celui-ci, en ce sens que lui soit reconnu le droit à une rente entière de l'assurance-invalidité depuis le 1er mars 2004; à titre subsidiaire, elle demande l'annulation du jugement cantonal et le renvoi de la cause à la juridiction cantonale, subsidiairement à l'administration, pour complément d'instruction et nouvelle décision.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. 2.1 Constatant que la recourante était atteinte d'une fibromyalgie, la juridiction cantonale a nié l'existence d'une comorbidité psychiatrique, en considérant que la dépression de gravité moyenne dont souffrait l'assurée, même associée à un retard mental léger, ne constituait pas une telle comorbidité. Retenant que les conclusions du docteur B._ sur la capacité de travail de 30 % n'étaient pas motivées, elle en a nié la valeur probante. Après avoir précisé que les éléments médicaux au dossier étaient suffisants pour appliquer les règles posées par la jurisprudence à propos de la fibromyalgie, elle a confirmé que l'intimé n'avait pas violé le droit fédéral en refusant les prestations requises.
2.2 Comme le fait valoir à juste titre la recourante, l'appréciation des preuves à laquelle a procédé la juridiction cantonale apparaît arbitraire à plusieurs titres.
Les premiers juges ont tout d'abord examiné la situation de la recourante au regard du seul diagnostic de fibromyalgie, en omettant de se prononcer sur l'atteinte somatique mise en évidence par les médecins consultés par l'assurée. Ainsi, le docteur G._ a diagnostiqué une sciatique sur hernie discale, alors que le docteur S._ a retenu un syndrome lombovertébral sans signe radiculaire irritatif ou déficitaire avec discopathie modérée L4-L5. L'autorité de recours de première instance n'a dès lors pas non plus établi les faits quant aux effets de l'atteinte lombovertébrale sur la capacité de travail de la recourante, ni tranché entre les deux appréciations divergentes y relatives des deux médecins. Le premier a conclu à une incapacité totale de travail comme femme de ménage et à une capacité de travail de 50 % dans une activité adaptée, tout en préconisant une intervention chirurgicale à la suite de laquelle l'assurée pourrait probablement reprendre son activité antérieure. Le second a attesté une capacité de travail de 70 % dans l'activité antérieure et de 100 % dans une activité adaptée. Une appréciation rigoureuse et complète des preuves exigeait l'examen de la situation de la recourante sous l'angle somatique également. Compte tenu des conclusions du docteur G._, cet examen incluait le point de savoir s'il existait un traitement raisonnablement exigible et susceptible d'améliorer notablement la capacité de travail de l'assurée (au sens de l'art. 21 al. 4 LPGA), auquel l'assurance-invalidité aurait pu inviter celle-ci à se soumettre en tant que mesure susceptible de diminuer le dommage.
Pour constater ensuite que la recourante ne souffrait pas d'une comorbidité psychiatrique au sens de la jurisprudence sur la fibromyalgie dont elle a rappelé les principes (cf. ATF 132 V 65) - de sorte qu'on peut renvoyer au jugement entrepris sur ce point -, la juridiction cantonale a retenu que la dépression de gravité moyenne diagnostiquée par le docteur B._, même associée à un retard mental léger, n'équivalait pas à une comorbidité psychiatrique importante. Ce faisant, elle s'est écartée sans aucune motivation de l'évaluation de l'expert, puisqu'elle n'a repris que deux des diagnostics posés par celui-ci, ignorant qu'il avait également mis en évidence un trouble mixte de la personnalité (dont il n'a toutefois pas spécifié la nature). Par ailleurs, même si l'expert n'a pas expressément précisé la gravité de ces trois atteintes, il a cependant indiqué que les troubles cognitifs présentés par l'assurée sous forme d'un retard mental léger l'avaient empêché de développer une structure de personnalité mature et que l'émergence de douleurs secondaires à une affection somatique avait brisé le fragile équilibre qu'elle présentait; les éléments somatiques et cognitifs auxquels s'ajoutaient un trouble de l'humeur et un trouble de la personnalité entraînaient depuis 2003 une incapacité de travail de 90 % (que le médecin a baissé par la suite à 70 %). En ne prenant pas en considération cette appréciation, qui met en évidence une interférence entre les trois atteintes psychiques diagnostiquées que le psychiatre considère comme importantes ("nombreux déficits" présentés par l'assurée), la juridiction cantonale a procédé à une constatation d'ordre médical sans s'appuyer sur l'avis de l'expert psychiatre (ni d'un autre spécialiste dans ce domaine), ce qui revient à une constatation manifestement inexacte des faits (Hansjörg Seiler, in Bundesgerichtsgesetz, Berne 2007, n° 15 ad art. 97 LTF).
S'ajoute à cela que la seule constatation de l'absence d'une comorbidité psychiatrique suffisante au sens de la jurisprudence ne permettait pas déjà à la juridiction cantonale de nier le caractère invalidant de la fibromyalgie présentée par la recourante. Il lui appartenait encore d'examiner si les critères mis en évidence par la jurisprudence pour admettre à titre exceptionnel le caractère non exigible de l'effort de volonté en vue de surmonter la douleur et, partant, de la réintégration dans un processus de travail étaient réalisés (cf. ATF 132 V 65 consid. 4.2.2 p. 71), ce qu'elle a manqué de faire. A cet égard, on constate que l'expertise du docteur B._ ne contient pas d'éléments suffisants. Même s'il met en évidence un lien entre les douleurs d'origine somatique et la problématique psychique, le psychiatre n'a pas analysé la situation de la recourante à la lumière des critères de la jurisprudence, ni expliqué pourquoi il ne retenait pas le diagnostic de fibromyalgie (ou de syndrome somatoforme douloureux) tel que posé par le docteur S._ et qui avait justifié la mise en oeuvre de l'expertise psychiatrique (cf. note de la doctoresse M._ du SMR du 12 août 2005).
2.3 Au regard de ce qui précède, indépendamment du fait que le jugement entrepris ne contient par ailleurs aucune constatation propre des premiers juges sur l'exigibilité de la reprise d'une activité lucrative, le type de celle-ci et l'étendue de la capacité résiduelle de travail finalement retenue, leur appréciation des preuves repose sur un état de fait incomplet et est insoutenable. Compte tenu déjà de l'incertitude quant à l'appréciation de l'état de santé de la recourante sur le plan psychique, il convient d'admettre la conclusion subsidiaire de la recourante et de renvoyer la cause à la juridiction cantonale pour qu'elle mette en oeuvre une expertise médicale pluridisciplinaire (rhumatologique et psychiatrique), afin que soient pris en considération tant les aspects somatiques (y compris l'éventualité d'un traitement) que psychiques de la problématique de la recourante et leurs éventuels effets sur la capacité de travail.
3. Vu l'issue du litige, l'intimé qui succombe supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1 LTF), ainsi que les dépens auxquels a droit la recourante (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 9 février 2010 est annulé. La cause est renvoyée à la juridiction de première instance pour complément d'instruction au sens des considérants et nouveau jugement.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera à la recourante la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 18 octobre 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless