Faits:
A. Après qu'une première demande de prestations de l'assurance-invalidité a été rejetée en 1998, J._ s'est adressée une nouvelle fois à l'assurance-invalidité le 8 juin 2001, en invoquant souffrir de lombalgies et de troubles psychiques. L'Office cantonal genevois de l'assurance-invalidité (ci-après: l'office AI), chargé du dossier depuis le déménagement de l'assurée de X._ à Y._, a recueilli divers avis médicaux, dont celui du médecin traitant, le docteur E._. Celui-ci a diagnostiqué des dorsolombalgies, des troubles somatoformes douloureux et un état dépressif grave qui justifiaient une incapacité totale de travail depuis 1994. A la demande de l'office AI, l'assurée s'est soumise à un examen auprès du Service médical régional AI (SMR), où le docteur C._, psychiatre, a conclu à une capacité de travail complète sur le plan psychiatrique, sans limitation fonctionnelle (rapport du 18 juillet 2006). Par décision du 19 mars 2008, l'office AI a refusé toute prestation à l'intéressée.
B. J._ a déféré cette décision au Tribunal cantonal genevois des assurances sociales (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre des assurances sociales) qui, après avoir entendu le docteur E._, a chargé le docteur B._, spécialiste en psychiatrie et psychothérapie, d'une expertise. Dans son rapport du 12 octobre 2009, l'expert a diagnostiqué un épisode dépressif sévère sans symptômes psychotiques et un syndrome douloureux somatoforme persistant, en raison desquels l'assurée était totalement incapable de travailler. Après avoir entendu les parties, le Tribunal a recueilli le témoignage du docteur B._, qui précisa notamment la date du début de l'incapacité totale de travail qu'il fixa à 2001 (procès-verbal du 28 janvier 2010). Par jugement du 20 mai 2010, le Tribunal a admis le recours et reconnu le droit de J._ à une rente entière d'invalidité dès le 1er novembre 2000.
C. L'office AI interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation en concluant à l'octroi à l'assurée d'une rente entière d'invalidité du 1er novembre 2001 au 31 décembre 2004, puis dès le 1er janvier 2007. La requête d'effet suspensif qui assortit son recours a été partiellement admise par ordonnance du 6 septembre 2010.
J._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales en propose l'admission.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Compte tenu des conclusions du recourant (cf. art. 107 al. 1 LTF), le litige porte sur le droit de l'intimée à une rente entière d'invalidité du 1er novembre 2000 au 31 octobre 2001, ainsi que du 1er janvier 2005 au 31 décembre 2006.
3. Le recourant reproche tout d'abord à la juridiction cantonale d'avoir procédé à une appréciation arbitraire des preuves en ce qu'elle aurait retenu uniquement l'avis du docteur B._, en excluant les autres rapports au dossier sans la moindre motivation. Il se plaint également d'une violation de son droit d'être entendu en raison du défaut de motivation du jugement entrepris.
3.1 Se fondant sur les conclusions de l'expertise du docteur B._ (du 12 octobre 2009), lesquelles ont été complétées lors de l'audition de l'expert en instance cantonale et corroboraient celles des docteurs M._ et D._ du 22 juin 2001, les premiers juges ont retenu que la capacité de travail de l'intimée était nulle depuis l'année 2001. Ils ont considéré que l'avis du recourant, qui s'appuyait sur le rapport du docteur C._ (du 18 juillet 2006) pour affirmer qu'elle présentait un état de rémission stabilisé, était mal fondé puisqu'il s'écartait de l'évaluation de l'expert selon laquelle l'état de santé ne s'était pas amélioré.
3.2 Même si cette motivation peut paraître succincte quant aux motifs pour lesquels certains moyens de preuve ont été écartés, elle ne viole cependant pas le droit d'être entendu du recourant. Ce droit, consacré à l'art. 29 al. 2 Cst., n'exige pas que le juge expose et discute tous les arguments invoqués par les parties; il suffit qu'il mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision (ATF 130 II 530 consid. 4.3 p. 540 et les arrêts cités). En l'espèce, les premiers juges ont respecté leur devoir minimum d'examiner les problèmes pertinents, puisqu'ils se sont référés à l'avis médical dont se prévaut le recourant et ont expliqué qu'il entrait en contradiction avec l'expertise judiciaire ce qui justifiait de s'en écarter. L'écriture du recourant démontre par ailleurs, bien qu'il affirme le contraire, qu'il a compris le raisonnement des premiers juges puisqu'il oppose l'avis du médecin du SMR à celui de l'expert B._.
Le choix de suivre les conclusions de l'expert et non pas celles du SMR relève ensuite de la libre appréciation des preuves et n'apparaît nullement arbitraire au regard de la valeur probante accordée par la jurisprudence à une expertise judiciaire (ATF 125 V 351 consid. 3b/aa p. 352 et les références). Si le docteur B._ a certes relevé lors de son audition en procédure cantonale les difficultés rencontrées au cours de ses entretiens avec l'assurée en raison de l'attitude prostrée de celle-ci, il a néanmoins indiqué pouvoir se prononcer sur la date de la survenance de l'état dépressif sévère en se fondant sur des éléments indirects. Il s'est ainsi déterminé sur ce point en se référant aux rapports médicaux antérieurs et a fixé à 2001 l'apparition des troubles psychiques entraînant une incapacité totale de travail. En niant, sous l'angle de la vraisemblance, toute fluctuation postérieure de l'état de santé, l'expert s'est écarté de l'évaluation de son confrère C._, qui avait nié l'existence de toute pathologie psychiatrique invalidante (avis du 18 juillet 2008). Les conclusions du docteur B._ apparaissant convaincantes, la juridiction cantonale n'a pas fait preuve d'arbitraire en leur accordant davantage de poids qu'à celles du SMR et en en déduisant que l'assurée avait présenté une incapacité totale de travail depuis l'an 2001.
4. Dans un second grief, le recourant soutient que la juridiction cantonale a violé le droit en appliquant la let. a et non la let. b de l'art. 29 al. 1 aLAI pour déterminer le début du droit à la rente d'invalidité, qu'elle a fixé au 1er novembre 2000.
4.1 Aux termes de l'art. 29 al. 1 aLAI, applicable en l'espèce compte tenu de l'époque à laquelle se sont produits les faits déterminants pour fixer la naissance du droit à la prestation en cause (cf. ATF 129 V 1 consid. 1.2 p. 4), le droit à la rente au sens de l'art. 28 prend naissance au plus tôt à la date dès laquelle l'assuré présente une incapacité de gain durable de 40 pour cent au moins (let. a), ou l'assuré a présenté, en moyenne, une incapacité de travail de 40 pour cent au moins pendant une année sans interruption notable (let. b).
Selon la jurisprudence, rappelée par le jugement entrepris, l'existence d'une incapacité de gain durable au sens de l'art. 29 al. 1 let. a aLAI doit être admise lorsque l'atteinte à la santé est largement stabilisée et essentiellement irréversible et qu'elle affectera, selon toute vraisemblance, durablement la capacité de gain de l'assuré dans une mesure suffisamment grave pour justifier l'octroi d'une rente. Une atteinte ayant été labile peut être considérée comme relativement stabilisée seulement lorsque son caractère a clairement évolué de manière que l'on puisse prévoir que pratiquement aucun changement notable n'interviendra dans un avenir prévisible (ATF 119 V 98 consid. 4a p. 102 et les références; arrêt I 417/97 du 30 septembre 1998 consid. 1a, in VSI 1999 p. 80). L'examen de l'incapacité de gain au regard des critères de la stabilité et de l'irréversibilité de l'atteinte à la santé doit se faire sur la base d'un pronostic et non pas en se fondant sur des constatations rétrospectives (ATF 111 V 21 consid. 3c p. 24 s.).
4.2 Comme le relève à juste titre le recourant, la juridiction cantonale s'est fondée sur une appréciation rétrospective de la situation de l'intimée, puisqu'elle s'est appuyée sur l'expertise du docteur B._ (du 12 octobre 2009) pour constater le caractère stabilisé et irréversible de l'atteinte à la santé de l'assurée en novembre 2000. Cette manière de procéder est contraire au droit. Etant donné la nature des affections psychiques diagnostiquées à l'époque déterminante par les docteurs M._ et D._ (trouble somatoforme douloureux chronique dans le cadre d'un état dépressif chronique sévère), on ne saurait retenir qu'elles étaient stabilisées au moment des entretiens d'examen des médecins des Institutions psychiatriques de Z._.
Seule entre dès lors en considération l'application de l'art. 29 al. 1 let. b aLAI. Conformément à cette disposition, la naissance du droit à la rente entière d'invalidité doit être fixée au 1er novembre 2001 au regard des constatations de la juridiction cantonale sur la date des examens réalisés par les docteurs M._ et D._ (novembre 2000), qui ont attesté d'une incapacité de travail de plus de 40 %. Par conséquent, l'intimée ne peut prétendre une rente entière d'invalidité qu'à partir du 1er novembre 2001. Le jugement entrepris doit donc être réformé en ce sens, ce qui conduit à l'admission partielle du recours.
5. Vu l'issue du litige, les frais de justice seront répartis entre les parties (art. 66 al. 1 LTF), le recourant ne pouvant se prévaloir de l'art. 66 al. 4 LTF (arrêt 8C_67/2007 du 25 septembre 2007). Par ailleurs, le recourant, qui n'obtient que partiellement gain de cause, versera des dépens réduits à l'intimée (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le chiffre 2 du dispositif du jugement du Tribunal cantonal des assurances sociales de la République et canton de Genève du 20 mai 2010 est modifié en ce sens que J._ a droit à une rente entière d'invalidité dès le 1er novembre 2001. Le recours est rejeté pour le surplus.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis pour 250 fr. à la charge du recourant et pour 250 fr. à la charge de l'intimée.
3. Le recourant versera à l'intimée la somme de 1'800 fr. à titre de dépens réduits pour la dernière instance.
4. La cause est renvoyée à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 mars 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless