Faits:
A. Employée de commerce née en 1968, M._ a déposé une demande de prestations de l'assurance-invalidité le 5 mai 2006, en invoquant souffrir d'un syndrome de viscéroptose et d'un côlon spastique sévère depuis plus de vingt ans. Après avoir recueilli les avis des docteurs D._, médecin-chef du Service de gastro-entérologie et d'hépatologie du Centre hospitalier X._, et S._, généraliste, tous deux médecins traitants de l'assurée, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a confié une expertise au Centre d'observation médicale de l'assurance-invalidité (COMAI).
Dans leur rapport du 20 juin 2007, les docteurs B._, médecin-chef adjoint, O._, spécialiste FMH en médecine physique et réadaptation, et A._, médecin-chef, ont diagnostiqué, avec effet sur la capacité de travail, des douleurs abdominales d'origine indéterminée. A titre de diagnostics sans effet sur la capacité de travail, ils ont fait état d'une dysthymie, d'un trouble obsessionnel-compulsif, forme mixte avec pensées obsédantes et comportements compulsifs, d'une personnalité émotionnellement labile de type borderline, de trouble hypocondriaque et d'asthme bronchique. Les médecins ont conclu qu'en l'absence de diagnostic définitif au niveau abdominal, il leur était impossible de se prononcer sur la capacité de travail de l'assurée, alors que les autres affections psychiques et physiques ne limitaient pas la capacité de travail en tant que secrétaire. Ils préconisaient des investigations supplémentaires telles qu'indiquées par le docteur I._, spécialiste FMH en gastro-entérologie et médecine interne, dont ils avaient requis l'évaluation spécialisée. Ce médecin a mentionné quatre diagnostics différentiels (entérite inflammatoire de type maladie de Crohn, syndrome adhérentiel avec bride et subvolvulus répétitifs, invagination intestinale récurrente et trouble fonctionnel intestinal de type syndrome de l'intestin irritable) et indiqué ne pas pouvoir poser un diagnostic définitif, avant que certains examens complémentaires ne fussent effectués (rapport du 1er mai 2007, complété le 8 mai suivant).
Dans un avis du 16 août 2007, le docteur N._, médecin auprès du Service médical régional de l'assurance-invalidité (SMR) a considéré que l'expertise du COMAI devait être transmise au médecin de l'assurée, afin de mettre en place les investigations recommandées par le docteur I._ dans le cadre de l'assurance-maladie. Par courrier du 5 mai 2008, l'office AI a envoyé l'expertise au docteur S._, en le priant d'y donner la suite qu'il convenait. Celui-ci n'a jamais répondu.
Le 16 juillet 2009, le docteur D._ a fait état d'un syndrome sévère du côlon irritable et d'un état anxio-dépressif et retenu que le rendement de l'assurée était réduit de 100 % pendant les crises douloureuses. L'assurée a été soumise à un examen effectué au SMR par les docteurs R._, spécialiste FMH en médecine interne et rhumatologie, et G._, spécialiste FMH en psychiatrie, qui ont conclu à une capacité de travail entière tant sur le plan somatique que psychiatrique (rapport du 2 novembre 2009). Fort de ces conclusions, l'office AI a informé M._ qu'il comptait nier son droit à des prestations de l'assurance-invalidité (projet de décision du 26 novembre 2009). Après avoir obtenu de l'administration un délai pour se déterminer, l'assurée lui a fait parvenir une expertise rendue le 19 juillet 2010 par le docteur F._, spécialiste FMH en gastro-entérologie et hépatologie. Celui-ci a diagnostiqué un syndrome de l'intestin irritable et conclu à une capacité résiduelle de travail de 60 % (l'activité exercée antérieurement étant exigible).
Le docteur N._ s'est prononcé sur le dossier de l'assurée (avis du 11 mars 2011) et une enquête économique sur le ménage a encore été mise en oeuvre. Par décision du 25 novembre 2011, l'office AI a nié le droit de M._ à une rente d'invalidité. En bref, il a considéré que l'assurée disposait d'une capacité de travail de 60 % depuis 2004 dans son activité habituelle de secrétaire (qu'elle aurait continué à exercer à 80 % sans atteinte à la santé), de sorte qu'elle subissait une perte de gain de 27,2 %, insuffisante pour ouvrir le droit à une rente.
B. M._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en produisant un avis du docteur I._ (du 23 décembre 2011) et une expertise du docteur C._, spécialiste FMH en psychiatrie et psychothérapie (du 23 juillet 2010). Celui-ci a diagnostiqué des syndromes comportementaux non spécifiés (ici fluctuations dysthymiques), associés à des perturbations physiologiques (ici intestin irritable), qui n'entraînaient aucune incapacité de travail. Par la suite, l'assurée a encore versé à la procédure un rapport du docteur E._, médecin-adjoint du Service de psychiatrie Y._ (du 31 janvier 2012), tandis que l'office AI s'est déterminé en déposant deux avis du SMR (des 1er mars et 29 mai 2012). Par jugement du 10 septembre 2012, le Tribunal cantonal vaudois a débouté l'assurée.
C. Agissant par la voie du recours en matière de droit public, M._ demande sous suite de frais et dépens au Tribunal fédéral, principalement, de réformer ce jugement, en ce sens que lui soit reconnu le droit à une rente entière de l'assurance-invalidité depuis la date "que Justice dira". A titre subsidiaire, elle conclut à l'annulation du jugement cantonal et au renvoi de la cause à la juridiction cantonale, voire à l'office AI pour complément d'instruction et nouvelle décision dans le sens des considérants.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte sur le droit de la recourante à une rente d'invalidité. Il suffit d'y renvoyer.
3. 3.1 Se prononçant tout d'abord sur l'état de santé physique de la recourante, la juridiction cantonale a suivi les conclusions du docteur F._ et constaté que l'assurée présentait une incapacité de travail de 40 % depuis 2004. Alors qu'à l'occasion de l'expertise du COMAI, la capacité de travail de la recourante n'avait pas pu être arrêtée, le docteur F._ s'était ensuite déterminé à cet égard. Il avait indiqué que les douleurs abdominales chroniques de l'assurée entraînaient un absentéisme fréquent, de sorte qu'une limitation de la capacité de travail à 60 % devait être retenue. De l'avis des premiers juges, les conclusions de ce médecin n'étaient pas remises en cause par l'appréciation de son confrère I._ (du 23 décembre 2010, recte 2011), qui s'était limité à réserver le diagnostic le plus probable de syndrome de l'intestin irritable.
Sur le plan psychique, l'autorité cantonale de recours a constaté que les différents rapports médicaux, en dernier celui du docteur C._, étaient concordants et mettaient en évidence que les atteintes diagnostiquées n'avaient aucune influence sur la capacité de travail de l'assurée. Elle a par ailleurs retenu que le caractère invalidant des pathologies périphériques alléguées par la recourante (fatigue, apnée, dépendance à l'alcool et/ou cannabis) ne pouvait être reconnu, puisqu'aucun médecin ayant suivi la recourante n'avait estimé nécessaire d'explorer ces problématiques plus avant.
En conclusion, les premiers juges ont considéré que le dossier médical de l'assurée était suffisamment instruit, sans qu'une expertise pluridisciplinaire ou scientifique dût être ordonnée. Ils ont constaté que le taux d'invalidité tel que déterminé par l'office AI en fonction d'une incapacité de travail de 40 % et du statut d'assurée exerçant une activité à temps partiel (80 %) n'était pas critiquable, si bien que le recours devait être rejeté.
3.2 Se plaignant d'une appréciation arbitraire des preuves, la recourante reproche aux premiers juges d'avoir statué sur la base d'un dossier médical incomplet, dès lors que les examens préconisés par le docteur I._ à l'occasion de l'expertise du COMAI n'avaient pas été effectués, alors qu'ils étaient indispensables du point de vue méthodologique pour se prononcer sur sa capacité de travail. L'évaluation du docteur F._, rendue sans que ces examens eussent été mis en oeuvre, était dès lors entachée d'une "incertitude méthodologique" mise en évidence par le docteur I._ dans son avis du 23 décembre 2011. Selon la recourante, une expertise pluridisciplinaire était également nécessaire pour élucider son état de santé sur le plan psychique. L'appréciation du docteur C._ n'était en effet pas suffisante, puisqu'il avait manqué d'évoquer différents diagnostics, alors que le docteur E._ avait mis en évidence "la très grande imbrication (...) des troubles physiques et psychiques". La recourante fait encore valoir qu'elle souffre de dépendance à l'alcool et aux produits stupéfiants et que les premiers juges auraient été tenus d'examiner si ce phénomène aurait dû ou non entrer en ligne de compte pour évaluer son incapacité de gain.
4. 4.1 Le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conséquences insoutenable (ATF 134 V 53 consid. 4.3 p. 62 et les arrêts cités). L'appréciation des preuves doit être arbitraire non seulement en ce qui concerne les motifs évoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.).
4.2 Quoi qu'en dise la recourante, l'appréciation des preuves à laquelle a procédé la juridiction cantonale n'est pas arbitraire.
4.2.1 En ce qui concerne tout d'abord les critiques soulevées à l'encontre de l'expertise du 19 juillet 2010, le fait que le docteur F._ n'a apparemment pas effectué tout ou partie des examens préconisés par son confrère I._ pour poser un diagnostic ne suffit pas à remettre en cause ses conclusions. Mandaté par la recourante pour se prononcer sur son état de santé sous l'angle gastro-entérologique, le docteur F._ a, d'une part, procédé aux examens qu'il estimait nécessaires pour se prononcer selon les règles de l'art. Il a indiqué à cet égard que pour asseoir le diagnostic de "intestin irritable selon la classification III de Rome", une écographie abdominale complète, ainsi que des examens de laboratoire ont été réalisés (expertise, p. 5). Que le docteur I._ qualifie la démarche du docteur F._ de "méthodologie académique théorique" (cf. avis du 23 décembre 2011) ne permet pas de douter que l'appréciation de celui-ci ait été effectuée selon les règles de l'art. Le diagnostic posé s'appuie en effet sur les critères d'un système de classification reconnu et est dûment motivé.
Par ailleurs, même dans l'hypothèse où le docteur F._ n'avait pas à disposition le rapport antérieur du docteur I._ - que la recourante aurait été en mesure, en sa qualité de mandante de l'expertise, de lui fournir -, il a mis en évidence des symptômes identiques à ceux décrits par son confrère (crises douloureuses abdominales), de sorte que leurs constatations sont convergentes. De plus, le diagnostic posé par le docteur F._, dont on pouvait attendre, vu son rôle d'expert (privé), qu'il fît le cas échéant part d'éventuels doutes sur le diagnostic, correspond à celui mis en évidence initialement par le docteur D._ à la suite d'examens complets, et confirmé à plusieurs reprises (rapports des 7 novembre 2005, 29 juin 2006 et 16 juillet 2009). Enfin, dès lors que c'est avant tout la répercussion de l'atteinte à la santé diagnostiquée sur la capacité de travail qui importe pour juger du droit aux prestations d'un assuré (art. 4 al. 1 LAI, art. 16 LPGA), le choix exact de l'un des quatre diagnostics différentiels évoqués par le docteur I._ - aux yeux duquel celui de syndrome de l'intestin irritable est cependant "le plus probable" - n'apparaît pas déterminant en fin de compte, pas plus du reste que la controverse doctrinale évoquée par la recourante. Dans son avis du 23 décembre 2011, le médecin ne remet en effet pas en question les répercussions de l'atteinte gastro-entérologique en cause sur la capacité de travail de l'assurée, telles qu'attestées par le docteur F._ (incapacité de travail de 40 %).
En conséquence, il n'y a pas lieu de s'écarter des constatations de la juridiction cantonale fondées sur le rapport de ce médecin, lesquelles n'apparaissent ni manifestement inexactes, ni insoutenables.
4.2.2 C'est en vain, ensuite, que la recourante tente de remettre en cause l'appréciation des premiers juges relative à son état de santé sur le plan psychique, en critiquant le rapport du docteur C._ auquel elle oppose celui du docteur E._. Comme l'a retenu à juste titre l'autorité cantonale de recours, le docteur E._, qui s'est prononcé sans avoir mené d'entretien avec l'assurée, n'a mis en lumière aucun élément dont son confrère C._ n'aurait pas tenu compte et n'explique pas en quoi l'appréciation de celui-ci serait erronée. Contrairement à ce que suggère par ailleurs le psychiatre, les conséquences de la douleur ressentie par l'assurée ont été "abordées" tant sur le plan psychique que somatique, puisque les docteurs C._ et F._ se sont chacun exprimés à ce sujet en fonction de leurs connaissances spécialisées. L'évaluation "sur dossier" du docteur E._ n'est dès lors pas convaincante.
Quant aux autres critiques de la recourante, elles ne sont pas davantage pertinentes. On ne voit pas en quoi, et la recourante ne l'explique pas, les observations de la collaboratrice de l'office AI chargée de l'enquête économique sur le ménage seraient de nature à mettre en doute les constatations du docteur C._. En tant que la recourante reproche ensuite au psychiatre de n'avoir tiré aucune conclusion sur le plan diagnostique de tel ou tel événement de sa vie, elle méconnaît le rôle de l'expert auquel il revient seul, en sa qualité de spécialiste en psychiatrie, de mettre en rapport les éléments de l'anamnèse, les plaintes exprimées par la personne examinée et ses observations pour en tirer des conclusions notamment sur le plan diagnostique, ce que le docteur C._ n'a pas manqué de faire en l'occurrence.
4.2.3 En ce qui concerne encore l'argumentation relative aux atteintes que la recourante qualifie de périphériques, elle est mal fondée. Le seul fait que l'un ou l'autre médecin qui l'a examinée a mentionné un état de fatigue, ainsi que la consommation d'alcool (et de cannabis) n'implique pas que ces aspects doivent faire l'objet d'investigations médicales supplémentaires. Ni les experts du COMAI, ni le docteur C._ n'ont attribué valeur pathologique à ces éléments; ils n'ont pas non plus recommandé la mise en oeuvre d'examens complémentaires. L'avis isolé du docteur I._, qui mentionne "un syndrome de dépendance à l'alcool (et/ou haschich)" ne suffit pas à justifier de tels examens, dès lors que le médecin n'en indique pas la nécessité, ni ne déduit de ce syndrome une limitation fonctionnelle ou des effets restrictifs sur la capacité de travail de l'assurée.
4.3 En conséquence de ce qui précède, le Tribunal fédéral n'a pas à s'écarter des constatations des premiers juges sur la capacité résiduelle de travail de la recourante. Pour le reste, elle ne conteste par l'évaluation du taux d'invalidité en fonction d'une telle capacité de travail, de sorte que les constatations de la juridiction cantonale sur ce point lient le Tribunal fédéral.
Le recours se révèle dès lors mal fondé et doit être rejeté.
5. Vu l'issue de la procédure, les frais judiciaires y afférents sont mis à la charge de la recourante, qui succombe (art. 66 al. 1 LTF). Elle n'a pas droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 avril 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless