Faits:
A. Née en 1957, D._ a présenté une demande de prestations de l'assurance-invalidité le 28 novembre 2000. Au cours de l'instruction de la requête, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli différents avis médicaux et soumis l'assurée à un examen psychiatrique auprès de l'Hôpital Y._, ainsi qu'à une expertise rhumatologique auprès du docteur R._, médecin associé au Service de rhumatologie, médecine physique et réhabilitation de l'Hôpital X._. Par décision du 5 mai 2004, confirmée par décision sur opposition du 11 mars 2005, l'office AI a refusé toute prestation à D._, au motif qu'elle ne présentait pas d'atteinte à la santé invalidante.
B. L'assurée a déféré cette décision au Tribunal des assurances du canton de Vaud qui a requis de l'office AI qu'il mette en oeuvre un nouvel examen psychiatrique auprès de l'Hôpital Y._. Le docteur Z._ de l'Hôpital Y._ a rendu son rapport le 13 février 2006, sur lequel l'assurée s'est prononcée en produisant un avis médical (du 2 mai 2006) de la doctoresse U._, médecin-psychiatre. Statuant le 2 novembre 2006, le Tribunal des assurances a rejeté le recours.
C. D._ a interjeté un recours de droit administratif contre le jugement cantonal. Sous suite de frais et dépens, elle conclut principalement à l'octroi d'une rente entière de l'assurance-invalidité et subsidiairement au renvoi de la cause à la juridiction cantonale pour qu'elle ordonne une expertise psychiatrique.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.
Considérant en droit:
1. La loi sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
2. Le jugement entrepris porte sur des prestations de l'assurance-invalidité, de sorte que le Tribunal fédéral examine uniquement si l'autorité cantonale de recours a violé le droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation, si les faits pertinents ont été constatés de manière manifestement inexacte ou incomplète ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 al. 2 OJ [dans sa teneur selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI, en vigueur depuis le 1er juillet 2006], en relation avec les art. 104 let. a et b, ainsi que 105 al. 2 OJ).
Le Tribunal fédéral ne peut aller au-delà des conclusions des parties à l'avantage ou au détriment de celles-ci, sauf en matière de contributions publiques pour violation du droit fédéral ou pour constatation inexacte ou incomplète des faits; il n'est pas lié par les motifs que les parties invoquent (art. 114 en relation avec l'art. 132 al. 2 OJ).
3. Le jugement entrepris expose correctement les règles légales et les principes jurisprudentiels relatifs à la notion d'invalidité et à son évaluation, ainsi que la jurisprudence en matière de troubles somatoformes et de valeur probante des pièces médicales, applicables au présent cas. Il suffit d'y renvoyer.
4. 4.1 Se fondant sur les rapports du docteur Z._ de l'Hôpital Y._ (des 7 novembre 2003 et 13 février 2006) et l'expertise du docteur R._, la juridiction cantonale a constaté que la recourante ne présentait pas d'atteinte à la santé somatique ou psychique ayant une répercussion sur la capacité de travail. Sur le plan psychique en particulier, l'autorité cantonale de recours a fait siennes les conclusions du médecin de l'Hôpital Y._ et retenu que l'assurée présentait un trouble somatoforme douloureux lié à des facteurs psychosociaux et socio-culturels dont l'assurance-invalidité n'avait pas à répondre. Examinant également l'avis de la doctoresse U._, les premiers juges ont expliqué de façon circonstanciée pour quelles raisons il convenait de s'en écarter. Selon leurs constatations, les conclusions de la psychiatre, qui s'était par ailleurs exprimée en tant que médecin traitant de la recourante, n'apparaissent pas suffisamment étayées.
4.2 Dans un arrêt récent I 65/07 rendu le 31 août 2007, la IIe Cour de droit social du Tribunal fédéral a considéré qu'un rapport médical, élaboré dans le cadre d'un diagnostic de troubles somatoformes douloureux, signé par le docteur Z._ avec l'indication «Psychiatre FMH» ne pouvait se voir attribuer une pleine valeur probante, en raison d'une irrégularité d'ordre formel liée à l'utilisation d'un titre auquel le médecin ne pouvait prétendre. La Cour de céans a retenu qu'il n'était en conséquence pas possible de tirer d'un tel rapport des conclusions définitives sur l'état de santé d'un assuré, ni de fonder son appréciation uniquement sur cette pièce médicale.
En l'espèce, les premiers juges ont conclu à l'absence d'une incapacité de travail sur la plan psychiatrique compte tenu des seuls rapports médicaux rendus par le docteur Z._. Si le premier avis du 7 novembre 2003 a également été signé par la doctoresse M._ de l'Hôpital Y._ (qui a assisté à l'examen du 3 novembre précédent), la seconde évaluation (du 13 février 2006) - mise en oeuvre à la demande du juge instructeur cantonal - a été effectuée uniquement par le docteur Z._ et signée avec la mention «Psychiatre FMH». A la lumière de l'arrêt I 65/07 cité, l'appréciation de la juridiction cantonale qui repose essentiellement sur le rapport du 13 février 2006 en relation avec celui du 7 novembre 2003 n'est pas conforme au droit et ne peut être suivie. Le dossier ne comprend par ailleurs pas une autre évaluation suffisamment circonstanciée de l'état de santé de la recourante sur le plan psychique, celle de la doctoresse U._ ayant été écartée par les premiers juges pour des motifs qui ne relèvent pas d'une constatation manifestement inexacte des faits. Il convient dès lors d'annuler le jugement entrepris et de renvoyer la cause à l'intimé pour qu'il complète l'instruction sous la forme d'une expertise psychiatrique ou, cas échéant, pluridisciplinaire, puis se prononce à nouveau.
4.3 En conséquence de ce qui précède, le recours se révèle bien fondé.
5. La procédure, qui a trait à des prestations de l'assurance-invalidité est onéreuse (art. 134 2ème phrase OJ), de sorte que l'intimé qui succombe doit en supporter les frais (art. 156 al. 1 en relation avec l'art. 135 OJ). Représentée par un avocat, la recourante a droit à une indemnité à titre de dépens à la charge de l'intimé (art. 159 al. 1 en relation avec l'art. 135 OJ).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit administratif est admis en ce sens que le jugement 2 novembre 2006 du Tribunal des assurances du canton de Vaud et la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 11 mars 2005 sont annulés, la cause étant renvoyée à cet office pour instruction complémentaire au sens des considérants et nouvelle décision.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge de l'intimé.
3. L'avance de frais effectuée par la recourante, d'un montant de 500 fr., lui est restituée.
4. L'intimé versera à la recourante la somme de 1'500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
5. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
6. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 26 septembre 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière: