Faits:
A. Le 3 mai 2004, D._ (née en 1947) a présenté une demande de prestations de l'assurance-invalidité en vue de l'octroi d'un moyen auxiliaire et d'une rente. Elle invoquait souffrir d'un décollement postérieur du vitré de l'oeil gauche entraînant une vision trouble permanente, causé par un accident survenu le 21 octobre 1999. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli divers avis médicaux et soumis l'assurée à un examen auprès des docteurs G._, spécialiste FMH en médecine interne et rhumatologie, et B._, spécialiste FMH en psychiatrie et psychothérapie, tous deux médecins du Service médical régional de l'assurance-invalidité (SMR). Fort de leurs conclusions, selon lesquelles l'assurée disposait d'une capacité de travail entière dans son activité habituelle et dans toute activité adaptée (rapport du 11 décembre 2006), l'office AI a, par décision du 8 janvier 2008, refusé toute prestation. Il a par ailleurs nié le droit de l'intéressée à un moyen auxiliaire (décision du 6 novembre 2007).
B. B.a D._ a déféré la décision du 8 janvier 2008 à la Cour des assurances sociales du Tribunal cantonal vaudois en produisant un rapport de la doctoresse H._ (du 6 février 2008), puis du docteur C._ (du 20 mai 2008), tous deux spécialistes FMH en psychiatrie et psychothérapie. Par jugement du 30 septembre 2010, le Tribunal cantonal a admis le recours, annulé la décision administrative et renvoyé la cause à l'office AI pour qu'il en complète l'instruction, puis rende une nouvelle décision.
B.b Conformément à ces instructions, l'office AI a confié une expertise au docteur F._, spécialiste FMH en psychiatrie et psychothérapie, qui, au terme de son examen, a fixé à 50 % l'incapacité de travail de l'assurée dans toutes activités depuis avril 2005, en raison d'un trouble dépressif majeur récurrent (épisode actuel moyen, chronique) et un trouble mixte de la personnalité (rapport du 9 mai 2011). Le 23 janvier 2012, l'office AI a mis D._ au bénéfice d'une demi-rente d'invalidité à partir du 1er avril 2006.
B.c Saisi d'un recours formé par l'assurée contre cette décision, le Tribunal cantonal vaudois, Cour des assurances sociales, l'a admis; il a réformé la décision du 23 janvier 2012, en ce sens que D._ a droit à une rente entière d'invalidité dès le 1er avril 2006 (jugement du 28 février 2013).
C. L'office AI interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation, ainsi qu'à celle de l'arrêt cantonal précédent du 30 septembre 2010 et à la confirmation de sa décision du 8 janvier 2008.
Considérant en droit:
1. Dans son écriture de recours, l'office AI s'en prend au premier jugement rendu dans la même cause par le Tribunal cantonal vaudois, le 30 septembre 2010. Ce jugement, selon lequel la cause a été renvoyée à l'administration pour instruction complémentaire, constitue une décision incidente au sens de l'art. 93 al. 1 LTF, qui peut être attaquée par un recours contre la décision finale, à condition qu'il influe sur le contenu de celle-ci (cf. art. 93 al. 3 LTF).
Dès lors que le jugement du 30 septembre 2010 a conduit à la mise en oeuvre d'une expertise dont les conclusions, respectivement la date d'édition, ont été considérées comme déterminantes pour évaluer la capacité de travail de l'assurée et ont ainsi servi de fondement à l'arrêt du 28 février 2013, il apparaît que la décision incidente a influé sur le contenu du jugement final et que les moyens présentés à cet égard dans le cadre du recours contre celui-ci sont recevables en vertu de l'art. 93 al. 3 LTF (ATF 135 V 141 consid. 1.1 p. 143).
2. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
3. Le recourant fait valoir qu'à la lumière du principe de la libre appréciation des preuves et du principe inquisitoire, la juridiction cantonale n'était pas autorisée à lui renvoyer la cause pour instruction complémentaire en septembre 2010, compte tenu des pièces alors au dossier. Le rapport du SMR du 11 décembre 2006, qui avait pleine valeur probante, constituait en effet une évaluation médicale complète et approfondie qui n'avait pas été remise en cause par la psychiatre traitant et l'expert privé mandaté par l'assurée, puisque ces médecins n'avaient pas mis en évidence d'éléments objectifs nouveaux. A défaut de tels éléments objectivement vérifiables qui auraient été ignorés dans le cadre de l'examen des médecins du SMR, le Tribunal cantonal était tenu de suivre leurs conclusions. Aussi, de l'avis du recourant, la nouvelle expertise du 9 mai 2011 devait-elle être écartée du dossier.
4. 4.1 Consacré à l'art. 61 let. c LPGA, le principe inquisitoire impose au juge de constater les faits d'office, avec la collaboration des parties, et d'administrer les preuves nécessaires (cf. ATF 125 V 193 consid. 2 p. 195). Le devoir d'instruction s'étend jusqu'à ce que les faits nécessaires à l'examen des prétentions en cause soient suffisamment élucidés (arrêt 8C_364/2007 du 19 novembre 2007 consid. 3.2). En cas de doute sur le sérieux de l'existence d'un fait, il appartient au juge de compléter l'instruction de la cause, pour autant que l'on puisse attendre un résultat probant des mesures d'instruction entrant raisonnablement en considération (ATF 130 II 425 consid. 2.1 p. 429 et les références).
L'art. 61 let. c LPGA prévoit également le principe de la libre appréciation des preuves, selon lequel le juge est tenu de procéder à une appréciation complète, rigoureuse et objective des rapports médicaux en relation avec leur contenu (ATF 132 V 393 consid. 2.1 p. 396); il doit examiner objectivement tous les documents à disposition, quelle que soit la provenance, puis décider s'ils permettent de porter un jugement valable sur le droit litigieux. S'il existe des avis contradictoires, il ne peut trancher l'affaire sans indiquer les raisons pour lesquelles il se fonde sur une opinion plutôt qu'une autre (ATF 125 V 351 consid. 3a p. 352). Le Tribunal fédéral a par ailleurs précisé que lorsqu'une décision administrative, rendue dans une procédure portant sur l'octroi ou le refus de prestations d'assurances sociales s'appuie exclusivement sur l'appréciation d'un médecin interne à l'assureur social et que l'avis d'un médecin traitant ou d'un expert privé auquel on peut également attribuer un caractère probant laisse subsister des doutes suffisants quant à la fiabilité et la pertinence de cette appréciation, la cause ne saurait être tranchée en se fondant sur l'un ou sur l'autre de ces avis et il y a lieu de mettre en oeuvre une expertise par un médecin indépendant selon la procédure de l'art. 44 LPGA ou une expertise judiciaire (ATF 135 V 465).
4.2 A la lecture du jugement cantonal du 30 septembre 2010, on constate qu'à l'inverse de ce que prétend le recourant, la juridiction cantonale a procédé à une appréciation complète et rigoureuse des preuves alors à disposition et fait une application du principe inquisitoire tout à fait conforme au droit. Les premiers juges ont en effet expliqué de manière circonstanciée les raisons pour lesquelles la situation médicale de l'assurée sur le plan psychiatrique n'était pas suffisamment élucidée en automne 2010 (consid. 5 du jugement cité, p. 11 ss). Les constatations des docteurs C._ et H._ n'étaient pas superposables à celles du docteur B._, les premiers faisant état chez l'assurée d'un trouble dépressif de gravité moyenne, voire sévère, avec suite d'incapacité de travail, tandis que le second niait tout caractère incapacitant à l'atteinte à la santé présentée par l'assurée. Les psychiatres ne s'accordaient pas non plus sur la qualification d'un trouble de la personnalité présenté par la recourante, ni sur son impact sur la capacité de travail, alors que l'avis du docteur T._ (du 31 juillet 2008), également psychiatre auprès du SMR, n'apportait pas de clarté sur ces points, puisqu'il semblait en partie d'accord avec le docteur C._, tout en reprenant les conclusions de son confrère B._.
Quoi qu'en dise le recourant, les éléments sur lesquels portait la divergence entre l'évaluation des médecins du SMR, d'une part, et celles des médecins consultés par l'intimée, d'autre part - dont le recourant ne remet au demeurant pas en cause la valeur probante - étaient suffisamment pertinents pour justifier la mise en oeuvre d'une nouvelle expertise médicale, dès lors qu'ils relevaient des diagnostics à retenir et de leurs répercussions sur la capacité de travail de l'assurée. Les premiers juges se trouvaient précisément dans la situation dans laquelle les avis du médecin traitant (la doctoresse H._) et de l'expert privé (le docteur C._) laissaient subsister des doutes suffisants quant à la fiabilité et la pertinence de l'appréciation des médecins internes à l'assureur social (le docteur B._), de sorte que la cause ne pouvait être tranchée en se fondant sur l'une ou sur l'autre de ces appréciations, mais devait faire l'objet d'une nouvelle appréciation médicale (consid. 4.1 supra).
4.3 En conséquence de ce qui précède, les griefs du recourant sont mal fondés et l'expertise du docteur F._ n'a pas à être écartée du dossier. Pour le reste, le recourant ne remet pas en cause le jugement final du 28 février 2013. Ses conclusions tendant à l'annulation des deux arrêts cantonaux (et à la confirmation de sa décision du 8 janvier 2008) doivent dès lors être rejetées, ce qui rend par ailleurs sans objet la requête d'effet suspensif présentée par le recourant.
5. Vu l'issue de la procédure, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'est pas alloué de dépens, vu que l'intimée n'a pas été invitée à se prononcer sur les conclusions sur le fond du recourant.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 22 mai 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless