Faits:
A. R._, ressortissante portugaise née en 1950, est arrivée en Suisse en 1989. Dès l'année suivante, elle a travaillé en qualité de femme de chambre dans l'hôtellerie jusqu'au 3 novembre 1998, date à laquelle elle a été mise en arrêt de travail en raison de dorsolombalgies. Elle n'a pas repris d'activité lucrative depuis.
La prénommée ayant présenté une demande de prestations de l'assurance-invalidité le 12 janvier 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli divers avis médicaux, dont une expertise du docteur H._, spécialiste FMH en neurologie, datée du 21 septembre 1999. Diagnostiquant des lombosciatalgies droites en relation avec la présence d'une hernie discale L4-L5 médio-latérale droite, des cervicodorsalgies sur troubles statiques et dégénératifs et un status après épisode de crise comitiale généralisée convulsive tonico-clonique (grand-mal) sur cavernomatose cérébrale, le médecin a conclu à une incapacité entière de travail dans la profession exercée jusque-là. Il a en revanche retenu que l'assurée disposait d'une capacité de travail de 50 % dans une activité adaptée (activité légère avec changements fréquents de position, sans engagement physique lourd). Fort de ces conclusions, l'office AI a rendu une décision le 26 août 2002, par laquelle il a alloué à l'intéressée un quart de rente d'invalidité à partir du 1er novembre 1999 fondé sur un taux d'incapacité de gain de 43 % (augmenté à une demi-rente pour cas pénible).
B. Saisi d'un recours formé par l'assurée qui concluait à l'octroi d'une rente entière, le Tribunal des assurances du canton de Vaud a chargé le Service de neurologie de l'Hôpital X._ d'une expertise. Celle-ci a été rendue le 13 septembre 2004 puis complétée le 9 novembre suivant par les docteurs B._ et C._, qui ont conclu à une capacité de travail résiduelle de 60 %. Le Tribunal a par ailleurs confié une expertise au docteur O._, spécialiste FMH en psychiatrie et psychothérapie, qui n'a retenu aucun diagnostic psychiatrique (rapport du 30 juin 2005, complété le 3 octobre 2005). De son côté, R._ a produit une expertise rendue le 29 août 2006 par le docteur W._, médecin-chef du Service de rhumatologie de l'Hôpital Y._. Celui-ci arrivait à la conclusion que l'assurée présentait une capacité de travail entre 30 % et 40 % dans une activité adaptée.
Statuant le 8 février 2007, le Tribunal des assurances du canton de Vaud a rejeté le recours.
C. R._ interjette un recours en matière de droit public contre le jugement cantonal, dont elle demande l'annulation, en concluant derechef à l'allocation d'une rente entière d'invalidité.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
1.2 Au regard de la réglementation sur le pouvoir d'examen prévue par la LTF, il convient d'examiner sur la base des griefs soulevés dans le recours formé devant le Tribunal fédéral si le jugement entrepris viole (notamment) le droit fédéral dans l'application des règles pertinentes du droit matériel et de preuve (art. 95 let. a LTF), y compris une éventuelle constatation des faits contraire au droit (art. 97 al. 1, art. 105 al. 2 LTF). En revanche, sous l'empire de la LTF, il n'y a pas lieu de procéder à un libre examen du jugement attaqué sous l'angle des faits (sauf si le recours est dirigé contre une décision concernant l'octroi ou le refus de prestations en espèces de l'assurance-accidents et de l'assurance militaire; art. 97 al. 2 LTF). De même, n'y a-t-il pas à vérifier l'exercice par la juridiction cantonale de son pouvoir d'appréciation sous l'angle de l'opportunité (selon les principes développés dans l'ATF 126 V 75 consid. 6 p. 81 en relation avec la version en vigueur du 1er juillet au 31 décembre 2006 de l'art. 132 de la loi fédérale d'organisation judiciaire [OJ], abrogée depuis).
1.3 En ce qui concerne l'évaluation de l'invalidité, les principes relatifs au pouvoir d'examen développés dans l'ATF 132 V 393 consid. 3 p. 397 ss (en relation avec l'art. 132 OJ dans sa version en vigueur du 1er juillet au 31 décembre 2006) continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application qu'elle fait du droit (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (ATF 132 V 393 consid. 3.2 p. 398). En revanche le Tribunal fédéral peut examiner librement, parce qu'il s'agit d'une question de droit, le grief tiré d'une violation du principe de la libre appréciation des preuves (à ce sujet, ATF 125 V 351 consid. 3a p. 352) et du devoir qui en découle de procéder à une appréciation complète, rigoureuse et objective des rapports médicaux, en relation avec leur contenu (ATF 132 V 393 consid. 4.1 p. 400).
2. Le litige porte sur le droit de la recourante à une rente d'invalidité, singulièrement sur le point de savoir si elle peut prétendre une rente supérieure à un quart. A cet égard, le jugement entrepris expose correctement les règles légales et les principes jurisprudentiels relatifs à la notion d'invalidité et à son évaluation, ainsi que la jurisprudence rendue en matière de troubles somatoformes applicable par analogie à la fibromyalgie (ATF 132 V 65) et celle relative à la valeur probante des rapports médicaux. Il suffit d'y renvoyer.
3. Dans un premier moyen, la recourante reproche aux premiers juges d'avoir retenu une capacité de travail résiduelle de 50 % dans une activité adaptée, telle que retenue par le docteur H._, et non pas «celles de 30, 37,5 et 40 % évaluées par le docteur W._».
3.1 Constatant qu'au vu des affections essentiellement d'ordre somatique présentées par la recourante depuis 1998, elle n'était plus en mesure d'exercer son activité de femme de chambre dans le domaine de l'hôtellerie, la juridiction cantonale a examiné dans quelle mesure une activité adaptée, telle que décrite par les médecins consultés, était exigible. Evaluant les trois expertises au dossier (des docteurs H._, B._ et C._, ainsi que W._), l'autorité cantonale de recours s'est fondée sur les conclusions du docteur H._ et a retenu une capacité de travail résiduelle de 50 %. Elle a considéré que les deux expertises postérieures à celle de ce médecin n'avaient pas apporté d'éléments suffisants pour remettre en cause les conclusions du neurologue. En particulier, les premiers juges ont précisé que le docteur W._ avait fait état d'une tendance à la fibromyalgie, laquelle ne pouvait, selon eux, être considérée comme une affection invalidante, notamment en raison du défaut de comorbidité psychiatrique.
3.2 Les critiques de la recourante à l'égard des constatations de fait des premiers juges, qui lient le Tribunal fédéral sous réserve d'une inexactitude manifeste (supra consid. 1.3), ne sont pas pertinentes. Le fait que les docteurs H._ et W._ sont spécialistes dans deux domaines différents de la médecine (neurologie, respectivement rhumatologie) ne constitue pas un motif pour «cumuler» leurs appréciations comme l'allègue la recourante. Contrairement à ce qu'elle prétend, la valeur d'un avis spécialisé dépasse, selon les observations et conclusions du médecin-examinateur, le cadre de son domaine de spécialisation, puisqu'il s'agit dans la plupart des cas de donner une appréciation globale de l'état de santé d'un assuré et des répercussions d'une éventuelle atteinte à la santé sur sa capacité de travail. C'est à une telle appréciation globale qu'a procédé la juridiction cantonale en examinant tant les conclusions du neurologue prénommé que celles des médecins de l'Hôpital X._ et de leur confrère rhumatologue, pour retenir finalement l'évaluation du docteur H._.
Dans la mesure, par ailleurs, où la recourante s'en prend à l'absence de motivation de la juridiction cantonale dans son appréciation des preuves - ce qui relèverait d'une violation du droit -, son grief est infondé. Les premiers juges ont en effet expliqué les raisons qui les ont conduits à retenir les conclusions du docteur H._ et non celles de l'expert mandaté par la recourante. Ils ont mentionné en particulier que l'avis du docteur W._ ne contenait pas d'éléments nouveaux par rapport à celui du neurologue consulté précédemment - ce que la recourante ne remet du reste pas en cause -, la tendance à la fibromyalgie mise en évidence par l'expert privé ne pouvant être retenue à titre d'atteinte invalidante. La simple circonstance que le docteur W._ a rendu son appréciation sept ans après le rapport du docteur H._ ne constitue dès lors pas en soi une raison de suivre l'avis le plus récent. Enfin, en concluant à une capacité de travail de 50 % au moins dans une activité adaptée, le docteur H._ n'a retenu aucune limitation du rendement, sans qu'on puisse lui reprocher, comme le fait à tort la recourante, d'avoir omis cet aspect dans son appréciation.
3.3 Au vu de ce qui précède, les constatations de fait des premiers juges et l'appréciation qu'ils en ont faite n'apparaît pas manifestement erronée ou contraire au droit, de sorte qu'ils étaient fondés à retenir une capacité de travail de 50 % dans une activité adaptée.
4. Quant aux effets de la limitation de la capacité de travail résiduelle sur le plan économique, la recourante soutient, dans un second moyen, que le revenu (annuel) avant invalidité aurait dû être fixé à 41'424 fr. (correspondant au salaire hypothétique après invalidité) et non pas à 36'530 fr. (correspondant au salaire qu'elle avait effectivement réalisé dans l'hôtellerie avant la survenance des atteintes à la santé). Selon elle, lorsque comme dans son cas le revenu d'invalide est supérieur au salaire perçu avant l'invalidité, le premier terme de la comparaison des revenus (revenu sans invalidité) doit être équivalent au revenu d'invalide. Il en résulterait alors un taux d'invalidité de 70, 62,5 ou 60 % (en fonction d'une capacité de travail de 30, 37,5 ou 40 %).
4.1 En ce qui concerne le revenu sans invalidité, la juridiction cantonale a confirmé le montant annuel de 36'530 fr. déterminé par l'office intimé en fonction du gain annuel que la recourante aurait pu réaliser dans son activité de femme de chambre dans l'hôtellerie.
Une telle manière de procéder est conforme à la jurisprudence selon laquelle le revenu sans invalidité doit être évalué de la manière la plus concrète possible et se déduit en principe du salaire réalisé en dernier lieu par l'assuré avant l'atteinte à la santé, en tenant compte de l'évolution des salaires jusqu'au moment du prononcé de la décision (ATF 129 V 222 consid. 4.3.1, p. 224 et la référence). Comme l'ont relevé les premiers juges, le fait que le revenu avant invalidité ainsi déterminé constitue un revenu modeste - en comparaison, notamment, du salaire d'invalide supérieur - ne justifie pas à lui seul de s'écarter du revenu que l'assuré réaliserait effectivement s'il était en bonne santé et de prendre en compte des valeurs statistiques.
Il est vrai que lors de la comparaison des revenus déterminants, il convient selon la jurisprudence de tenir compte du fait qu'un assuré réalisait un revenu nettement inférieur aux salaires habituels de la branche pour des raisons étrangères à l'invalidité, pour autant qu'il n'y ait pas de circonstances permettant de supposer que l'intéressé se serait contenté d'un salaire plus modeste que celui qu'il aurait pu obtenir (cf. RCC 1992 p. 96 consid. 4a) et que l'on puisse admettre qu'il ne pourrait pas réaliser, en raison de qualifications insuffisantes, un salaire aussi élevé que le revenu moyen déterminé. Dans un tel cas, celui-ci doit - en présence d'un écart important - être réduit du pourcentage résultant de la différence entre le revenu obtenu avant la survenance de l'invalidité et le salaire moyen de l'époque dans la branche considérée. C'est une manière de sauvegarder le principe selon lequel l'assurance-invalidité n'a pas à compenser les pertes de salaire résultant de facteurs étrangers à l'invalidité (cf. ATF 129 V 222 consid. 4.4 p. 225; RCC 1989 p. 483 consid. 3b; RAMA 1993 n° 168 p. 103 consid. 5b; arrêts I 64/03 du 18 novembre 2003 et I 789/02 du 15 juillet 2003). En l'espèce toutefois, la juridiction cantonale a constaté qu'il n'y avait pas de circonstances susceptibles de retenir que la recourante ne se serait pas contentée durablement de la rémunération qui était la sienne avant ses problèmes de santé, compte tenu de son parcours professionnel (elle avait exercé l'activité de femme de chambre depuis son arrivée en Suisse). Cette constatation, que la recourante ne remet pas en cause, n'apparaît pas manifestement erronée au vu des pièces au dossier, de sorte qu'elle doit être suivie. A cet égard, la référence que fait la recourante à «un cas similaire» ne lui est d'aucun secours, car elle n'apporte aucun élément concret qui permettrait, le cas échéant, d'admettre une similitude entre la situation mentionnée et la sienne.
4.2 En conséquence de ce qui précède, la juridiction cantonale était en droit de retenir un revenu sans invalidité de 36'530 fr. Quant au revenu annuel d'invalide fixé à 20'712 fr. (50 % de 41'424 fr.) par l'office intimé en référence aux données salariales résultant de descriptions des postes de travail (DPT), il n'est pas contesté, ni n'apparaît manifestement erroné. Il n'y a dès lors pas lieu de s'écarter du taux d'invalidité fixé par les premiers juges en comparant les deux revenus déterminants, à savoir 43 %.
En conséquence, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
5. La procédure est onéreuse (art. 65 al. 4 let. a LTF). La recourante, qui succombe, doit en supporter les frais (art. 66 al. 1 première phrase LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud, à la Caisse cantonale vaudoise de compensation AVS et à l'Office fédéral des assurances sociales.
Lucerne, le 14 mars 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless