Faits:
A. Le 18 octobre 2007, M._ (née en 1967) a présenté une demande de prestations de l'assurance-invalidité, en invoquant souffrir de dépression. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a pris des renseignements économiques auprès de X._, au service duquel la prénommée avait travaillé comme employée principale d'administration jusqu'au 31 août 2005. Il a également recueilli différents rapports médicaux, dont ceux de la doctoresse B._, spécialiste FMH en psychiatrie et psychothérapie, que l'assurée avait consultée jusqu'en automne 2006, des docteurs E._ et A._ du Service de psychiatrie de liaison du Centre hospitalier Y._ et de la doctoresse S._. Dans un rapport du 25 novembre 2008, le docteur K._, psychiatre traitant depuis septembre 2008, a diagnostiqué un trouble dépressif récurrent, épisode actuel moyen, un trouble panique avec agoraphobie et un trouble de la personnalité émotionnellement labile de type borderline; il a attesté d'une incapacité de travail de 50 % dans l'activité exercée précédemment. L'office AI a encore soumis l'assurée à un examen auprès du docteur G._, spécialiste FMH en psychiatrie auprès du Service médical Z._. Faisant état d'une personnalité émotionnellement labile non décompensée (F60.31) et de troubles paniques (F41.0), diagnostics sans répercussion sur la capacité de travail, ce médecin a conclu à une capacité entière de travail dans l'activité habituelle (rapport du 13 février 2009). Après que les docteurs K._ (rapport du 12 mars 2009) et G._ (rapport du 6 mai 2009, co-signé par la doctoresse V._) eurent fait part de leurs observations sur leurs conclusions respectives, l'office AI a, par décision du 9 juillet 2009, rejeté la demande de prestations de l'assurée. En bref, il a considéré qu'elle ne présentait pas d'atteinte à la santé invalidante au sens de la loi.
B. M._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal vaudois, en produisant un avis de son médecin traitant (du 3 août 2009). Elle a été déboutée par jugement du 29 novembre 2010, les juges cantonaux constatant, sur la base des conclusions du médecin du Service Z._, qu'elle ne présentait pas d'incapacité de travail médicalement avérée dans son activité habituelle ou dans toute autre activité, de sorte qu'elle ne subissait aucune perte de gain.
C. M._ interjette un recours en matière de droit public contre le jugement cantonal, dont elle demande l'annulation. Sous suite de frais et dépens, elle conclut au renvoi de la cause au Tribunal cantonal vaudois afin qu'il décide s'il ordonne lui-même une expertise psychiatrique ou renvoie pour ce faire la cause à l'office AI.
L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 254 s.).
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte sur le droit de la recourante à une rente d'invalidité. Il suffit d'y renvoyer.
3. Invoquant une violation du droit à un procès équitable (principe de l'égalité des armes; art. 6 § 1 CEDH), la recourante reproche aux premiers juges d'avoir refusé de mettre en oeuvre une expertise psychiatrique externe à l'assurance-invalidité. Face aux appréciations médicales contradictoires (rapport, "contre-rapport", "contre-contre-rapport" et "contre-contre-contre-rapport" des docteurs G._ et K._), ils auraient été tenus, pour départager ces avis, d'ordonner une expertise et ne pouvaient se référer à une hiérarchie entre les rapports des médecins internes à l'assurance et ceux des médecins traitants.
4. 4.1 Selon la jurisprudence, il découle du principe de l'égalité des armes, tiré du droit à un procès équitable garanti par l'art. 6 § 1 CEDH, que l'assuré a le droit de mettre en doute avec ses propres moyens de preuve la fiabilité et la pertinence des constatations médicales effectuées par un médecin interne à l'assurance. Le fait, tiré de l'expérience de la vie, qu'en raison du lien de confiance (inhérent au mandat thérapeutique) qui l'unit à son patient, le médecin traitant est généralement enclin à prendre parti pour celui-ci (ATF 125 V 351 consid. 3a/cc p. 353 et les références) ne libère pas le juge de son devoir d'apprécier correctement les preuves, ce qui suppose de prendre également en considération les rapports versés par l'assuré à la procédure. Le juge doit alors examiner si ceux-ci mettent en doute, même de façon minime, la fiabilité et la pertinence des constatations des médecins internes à l'assurance. Poser des exigences trop élevées à la possibilité pour l'assuré de soulever de tels doutes au moyen des rapports de ses médecins traitants porterait atteinte à l'égalité des armes et donc à l'art. 6 § 1 CEDH. Dès lors, lorsque la pertinence des constatations des médecins internes à l'assurance est mise en doute par le biais d'un rapport concluant du médecin traitant, il ne suffit pas de se référer en bloc au mandat thérapeutique qui lie celui-ci à son patient pour écarter les doutes en question. De même, le juge ne peut se contenter de retenir de manière globale que le rapport du médecin traitant ne remplit pas, ou seulement partiellement, les exigences d'une expertise au sens de l'ATF 125 V 351 consid. 3a p. 352, sans examiner concrètement sa valeur probante. Pour que l'assuré ait une chance raisonnable de soumettre sa cause au juge, sans être clairement désavantagé par rapport à l'assureur (sur l'inégalité relativement importante entre les parties en faveur de l'assurance, cf. ATF 135 V 165 consid. 4.3.1 in fine), le tribunal ne peut pas, lorsqu'il existe des doutes quant à la fiabilité et la pertinence des constatations des médecins internes à l'assurance, procéder à une appréciation des preuves définitive en se fondant d'une part sur les rapports produits par l'assuré et, d'autre part, sur ceux des médecins internes à l'assurance. Pour lever de tels doutes, il doit soit ordonner une expertise judiciaire, soit renvoyer la cause à l'organe de l'assurance pour qu'il mette en oeuvre une expertise dans le cadre de la procédure prévue par l'art. 44 LPGA (ATF 135 V 465 consid. 4.5 et 4.6 p. 470 sv).
4.2 Même en application de ces règles, il est en principe admissible pour un tribunal de se fonder sur les preuves administrées correctement par l'assureur social et de renoncer à sa propre procédure probatoire (ATF 135 V 465 consid. 4.3.2 p. 469). On rappellera que le juge peut en effet renoncer à accomplir certains actes d'instruction sans que cela n'entraîne une violation du droit d'être entendu ou une violation du devoir d'administrer les preuves nécessaires (art. 61 let. c LPGA) s'il est convaincu, en se fondant sur une appréciation consciencieuse des preuves (cf. ATF 125 V 351 consid. 3a p. 352), que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation (sur l'appréciation anticipée des preuves en général: ATF 131 I 153 consid. 3 p. 157; 130 II 425 consid. 2 p. 428).
4.3 Saisi d'un recours en matière de droit public, le Tribunal fédéral ne peut, en principe, revoir le résultat de l'appréciation anticipée des preuves à laquelle a procédé l'autorité de recours de première instance que sous l'angle restreint de l'arbitraire, soit qu'en cas d'inexactitude manifeste (art. 97 al. 1 et 105 al. 1 et 2 LTF; cf. également MEYER in: Bundesgerichtsgesetz, 2008, n. 34a, 60 et note 170 ad art. 105). L'appréciation (anticipée) des preuves doit être arbitraire non seulement en ce qui concerne les motifs évoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (cf. ATF 135 V 2 consid. 1.3 p. 4 sv.; 134 I 140 consid. 5.4 p. 148; 134 II 124 consid. 4.1 p. 133; 133 I 149 consid. 3.1 p. 153).
5. 5.1 La juridiction cantonale a considéré que les critiques émises par le docteur K._ à l'égard de l'appréciation de son confrère G._ n'étaient pas fondées. Contrairement à ce que prétendait le psychiatre traitant, le médecin du Service Z._ n'avait en effet pas été le seul à ne pas retenir le diagnostic d'un état dépressif majeur. De même que la doctoresse B._, qui n'avait pas mis en évidence de symptomatologie dépressive franche, les docteurs E._ et A._ du Centre Y._ n'avaient pas non plus posé le diagnostic d'état dépressif, alors que les rapports de la doctoresse S._ auxquels se référait le docteur K._ ne pouvaient être pris en compte, faute de valeur probante. Ensuite, le docteur G._ n'avait pas manqué de prendre en considération l'ensemble des éléments anamnestiques pertinents dont il avait connaissance en examinant les rapports au dossier, les circonstances mentionnées par le psychiatre traitant n'y figurant soit pas du tout, soit n'y apparaissant pas avec la même acuité qu'il décrivait. Pour ces motifs et compte tenu également de la position de psychiatre traitant du docteur K._, ainsi que de la valeur probante du rapport du Service Z._, la juridiction cantonale a considéré qu'elle n'avait pas à s'écarter des conclusions du docteur G._.
Il résulte de ces considérations que les premiers juges ont retenu que les critiques du docteur K._ ne mettaient pas en doute la fiabilité et la pertinence des constatations du docteur G._, médecin interne à l'assurance-invalidité. Réfutant les critiques du docteur K._ à l'égard de l'appréciation de son confrère, ils ont estimé qu'une nouvelle expertise médicale n'était pas nécessaire, puisque les conclusions du docteur G._ étaient concluantes.
5.2 A l'appui de ses conclusions, la recourante se contente d'alléguer qu'en produisant deux contre-rapports "longs, complets et bien argumentés" de son psychiatre traitant, elle a mis en doute la validité et les conclusions de l'évaluation du docteur G._.
Ce faisant, la recourante n'expose pas en quoi l'appréciation des preuves à laquelle ont procédé les premiers juges - et qui les ont conduits à nier l'existence de doutes quant à la fiabilité et la pertinence de l'avis du docteur G._ -, est manifestement insoutenable. En particulier, elle ne démontre pas, par une argumentation précise et qui se réfère concrètement au contenu des rapports médicaux qu'elle invoque, en quoi les évaluations médicales qu'elle a produites auraient dû conduire la juridiction cantonale, sous peine d'appréciation arbitraire, à douter de la fiabilité et de la pertinence de l'avis du psychiatre du Service Z._ (et, partant, à ordonner une instruction complémentaire auprès d'un médecin externe à l'assurance). En affirmant simplement que les premiers juges ne pouvaient faire autre chose que d'ordonner une expertise externe au regard de rapports "aussi riches et contradictoires" que ceux de son dossier, la recourante se borne à substituer sa propre appréciation à celle de la juridiction précédente. On rappellera qu'il n'appartient pas au Tribunal fédéral de rechercher les raisons éventuelles pour lesquelles le jugement attaqué devrait être annulé, mais à la partie recourante d'établir en quoi l'appréciation opérée par l'autorité cantonale serait manifestement inexacte, incomplète ou arbitraire.
Par ailleurs, quoi qu'en dise la recourante, les premiers juges n'ont pas écarté l'appréciation de son psychiatre traitant, au seul motif que son avis avait une valeur probante inférieure à celui du médecin interne à l'assurance. S'ils ont mis en évidence la provenance des rapports du docteur K._, ils les ont toutefois pris en considération dans le cadre d'une appréciation globale de leur valeur probante, en expliquant les raisons - dont la recourante ne soutient pas qu'elles seraient arbitraires - pour lesquelles ils ne considéraient pas pertinentes les critiques émises par le psychiatre (jugement entrepris, consid. 4a et 4b p. 21 ss).
5.3 En conséquence de ce qui précède, on ne saurait reprocher à l'autorité cantonale de recours une violation du principe tiré de l'égalité des armes. Faute de doutes sur la pertinence des constatations du médecin interne à l'assurance - l'absence de doutes constituant une constatation de fait, dont l'argumentation de la recourante n'établit pas le caractère manifestement inexact -, les premiers juges n'avaient pas à ordonner une expertise judiciaire (ou à enjoindre à l'intimé de mettre en oeuvre une expertise auprès d'un médecin externe à l'assurance), les principes posés par le Tribunal fédéral dans l'ATF 137 V 210 en matière de respect d'une procédure administrative et de recours équitable ne conduisant pas, au demeurant, à un autre résultat.
Les conclusions de la recourante sont, partant, mal fondées.
6. Vu l'issue du litige, les frais de la procédure sont mis à la charge de la recourante (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 9 novembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless