Faits:
A. A.a P._ a présenté le 9 janvier 2004 une demande de prestations de l'assurance-invalidité, que l'Office cantonal genevois de l'assurance-invalidité (ci-après: l'office AI) a rejetée au terme de son instruction, motif pris d'un taux d'invalidité insuffisant pour ouvrir le droit à des prestations (décision du 8 décembre 2006). Cette décision est entrée en force après que le Tribunal des assurances sociales de la République et canton de Genève (aujourd'hui, Cour de justice de la République et canton de Genève, Chambre des assurances sociales) a rejeté le recours de l'assurée, par jugement du 18 juillet 2007.
A.b Invoquant une aggravation de son état de santé sur le plan psychique, P._ a déposé une nouvelle demande de prestations de l'assurance-invalidité, le 9 décembre 2008. L'office AI a requis l'avis des médecins consultés par l'assurée, dont le docteur O._, spécialiste FMH en psychiatrie. Le 14 juin 2009, celui-ci a diagnostiqué notamment un trouble dépressif récurrent, épisode actuel moyen, depuis six ans et un trouble somatoforme douloureux persistant, et indiqué que l'état psychique de sa patiente s'était aggravé depuis qu'elle avait souffert d'un cancer du côlon (elle avait subi une hémicolectomie droite en raison d'un adénocarcinome du côlon droit, en mars 2007); en incapacité totale de travailler, elle était suivie au Centre X._ depuis octobre 2008.
L'office AI a confié une expertise au docteur E._, spécialiste FMH en psychiatrie et psychothérapie, qui a retenu un état dépressif majeur de gravité moyenne et un trouble somatoforme indifférencié; la capacité de travail de l'assurée était de 50 % depuis l'intervention chirurgicale en 2007 (rapport du 23 février 2010). Après que l'intéressée a été à nouveau opérée (pour une éventration sous-ombilicale avec la pose d'un filet), le docteur E._ l'a revue et a complété son expertise par un rapport daté du 28 avril 2011. Il a conclu à une capacité de travail de 50 % jusqu'au 31 décembre 2010, puis de 80 % dans une activité adaptée. Le 12 septembre 2011, l'office AI a rendu une décision, par laquelle il a derechef nié le droit de l'assurée à des prestations de l'assurance-invalidité.
B. Saisi d'un recours de P._ contre cette décision, la Chambre des assurances sociales de la Cour de justice genevoise a mandaté le docteur M._, spécialiste FMH en psychiatrie, pour une expertise. Rendant ses conclusions le 5 juillet 2012, le médecin a diagnostiqué un trouble dépressif récurrent, épisode actuel moyen, avec syndrome somatique, et un trouble somatoforme douloureux indifférencié; la capacité de travail de l'assurée était de 50 % pour des raisons psychiatriques dans des activités adaptées depuis mars 2007. Statuant le 26 septembre 2012, la Chambre des assurances sociales a partiellement admis le recours; annulant la décision du 12 septembre 2011, elle a octroyé à P._ une demi-rente d'invalidité dès le 1er mars 2008.
C. Agissant par la voie du recours en matière de droit public, l'office AI demande au Tribunal fédéral d'annuler ce jugement et de confirmer sa décision du 12 septembre 2011.
P._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Au regard des conclusions du recours, le litige porte sur le droit de l'intimée à une demi-rente d'invalidité à partir du 1er mars 2008. Le jugement entrepris expose correctement les règles légales et jurisprudentielles applicables à la présente cause, en particulier la jurisprudence sur les troubles somatoformes douloureux et le principe de la libre appréciation des preuves. Il suffit donc d'y renvoyer.
3. Se fondant sur les rapports médicaux au dossier, la juridiction cantonale a constaté que l'intimée, qui présentait une symptomatologie dépressive depuis 2003, en plus d'un trouble somatoforme douloureux, avait subi une aggravation de son état psychique depuis 2007, après une intervention chirurgicale en raison d'un cancer du côlon, le diagnostic de trouble dépressif récurrent devant être retenu depuis lors. Suivant les conclusions du docteur M._, auxquelles elle a accordé pleine valeur probante, l'autorité cantonale de recours a constaté que cette atteinte était indépendante du trouble somatoforme douloureux, à tout le moins depuis l'hémicolectomie en 2007. Conformément à l'appréciation du docteur M._ et de la première évaluation du docteur E._, les premiers juges ont par ailleurs retenu que la capacité de travail de l'intimée dans une activité adaptée aux limitations somatiques était de 50 % depuis mars 2007 (avec une période d'incapacité de travail totale pendant le suivi de l'assurée auprès de X._, du 8 octobre au 4 décembre 2008). Il en résultait, après la comparaison des revenus déterminants, un taux d'invalidité de 57,5 %, ce qui ouvrait le droit à une demi-rente d'invalidité à partir du 1er mars 2008 (en application de l'art. 29 al. 1 let. b LAI, dans sa version en vigueur jusqu'au 31 décembre 2007).
4. Faisant tout d'abord grief aux premiers juges d'avoir apprécié arbitrairement les preuves, le recourant leur reproche d'avoir accordé pleine valeur probante à l'expertise du docteur M._, alors que celui-ci se contredisait en ce qui concerne l'indépendance entre le trouble dépressif récurrent et le trouble somatoforme douloureux et qu'il n'avait pas fait état des critères jurisprudentiels en présence desquels le caractère invalidant d'un trouble somatoforme douloureux pouvait exceptionnellement être admis.
4.1 On rappellera que dans le contexte de troubles somatoformes douloureux, les états dépressifs constituent, selon la doctrine médicale sur laquelle se fonde le Tribunal fédéral, des manifestations (réactives) d'accompagnement des troubles somatoformes douloureux, de sorte qu'ils ne sauraient en principe faire l'objet d'un diagnostic séparé, sauf à présenter les caractères de sévérité susceptibles de les distinguer sans conteste d'un tel trouble (ATF 130 V 352 consid. 3.3.1 in fine p. 358). Aussi, si on ne peut pas nier d'emblée qu'un trouble dépressif récurrent de gravité moyenne entraîne des effets invalidants, il faut, pour que ceux-ci soient admis, qu'il ne s'agisse pas d'une simple manifestation d'accompagnement des troubles somatoformes douloureux, mais bien d'une atteinte dépressive indépendante, séparée du syndrome douloureux psychogène (arrêts 9C_521/2012 du 17 janvier 2013 consid. 3.1.2 et les arrêts cités et I 176/06 consid. 5.2, in SVR 2008 IV n° 1 p. 1).
A cet égard, comme le fait valoir à juste titre le recourant, les constatations de l'expert judiciaire sur l'absence de lien entre les deux diagnostics psychiques qu'il a posés (à la suite des docteurs O._ [rapport du 14 juin 2009] et E._ [rapport du 23 février 2010]) sont contradictoires. A la question de savoir si le trouble dépressif constaté était éventuellement réactionnel à un trouble somatoforme douloureux ou s'il devait être considéré comme une atteinte indépendante de ce trouble, le docteur M._ a, d'une part, répondu que le trouble dépressif de l'assurée avait évolué vers un trouble dépressif récurrent actuellement indépendant du trouble somatoforme douloureux. D'autre part, il a ajouté que les deux troubles restaient toutefois très liés et s'influençaient mutuellement. Or, on a peine à concevoir comment les deux atteintes en cause peuvent à la fois être indépendantes, soit ne pas avoir de rapports entre elles, et être liées. S'ajoute à cela que l'expert judiciaire précise que c'est leur combinaison qui entraîne des limitations et une réduction de la capacité de travail ("L'association des deux troubles psychiatriques à savoir le Syndrome douloureux somatoforme et le trouble dépressif récurrent contribue à une importante limitation fonctionnelle. Sur le plan psychique et mental, l'anxiété, la fatigabilité, les douleurs ainsi que la perte de perspectives dans l'avenir réduisent considérablement la capacité de travail" [expertise, p. 14]).
4.2 En passant outre à cette contradiction et en retenant que le trouble dépressif récurrent dont souffre l'intimée est indépendant du second diagnostic, la juridiction cantonale a procédé à une constatation manifestement inexacte d'un fait. Contrairement à ce qu'elle a par ailleurs indiqué, une telle indépendance entre les troubles en cause ne trouve pas non plus appui dans les observations du docteur E._, puisqu'il a fait état d'une "symptomatologie dépressive associée à un trouble somatoforme" (rapport du 23 février 2010, p. 16) et évalué l'impact commun des deux atteintes sur la capacité de travail de l'intimée. A l'inverse de ce qu'ont retenu les premiers juges, il apparaît que la situation de l'intimée correspond à celle où la capacité résiduelle de travail de l'assurée est influencée par les effets des deux diagnostics posés, ce qui concorde avec un cas d'application de la jurisprudence développée en matière de troubles somatoformes douloureux. Ainsi que le rappelle dûment le jugement entrepris, il existe à cet égard une présomption selon laquelle les troubles somatoformes douloureux et leurs effets peuvent être surmontés par un effort de volonté raisonnablement exigible (ATF 130 V 352 consid. 2.2.3 p. 353).
Comme le fait valoir le recourant, l'expertise du docteur M._ ne prend pas en considération les différents critères mis en évidence par le Tribunal fédéral pour apprécier le caractère invalidant des troubles somatoformes douloureux (en l'absence, comme en l'espèce, d'une comorbidité psychiatrique importante par sa gravité, son acuité et sa durée). En revanche, son confrère E._ a évalué l'exigibilité de l'effort de volonté nécessaire pour surmonter cet état à l'aune de ces éléments dans son rapport du 23 février 2010. A cet égard, on rappellera que les différents critères sont un instrument, pour l'expert et l'administration (ou, cas échéant, le juge), servant à déterminer si l'assuré dispose ou non des ressources psychiques permettant de surmonter cet état; ces critères ne constituent pas une liste de vérification mais doivent être considérés comme une aide à l'appréciation globale de la situation douloureuse dans un cas concret. Le docteur E._ n'a certes pas analysé de façon détaillée chacun des critères. Il a cependant indiqué utiliser le modèle de Foerster et fait état de l'une ou l'autre circonstance pertinente, telles les capacités de résilience psychiques limitées de l'assurée et la présence de symptômes fréquents lui causant une détresse significative et perceptible pour son entourage (ou des observateurs avisés). C'est en connaissance des critères de Foerster que le médecin a, en définitive, conclu que "l'ensemble des éléments ci-dessus nous orientent vers une incapacité de travail à 50 % depuis mars 2007 et ceci dans toute activité".
A la suite des premiers juges, dont les considérations sur ce point ne sont pas critiquées par le recourant, on constate que l'évaluation de l'état de santé de l'intimée à laquelle a procédé le docteur E._ du 23 février 2010 rejoint dans une très large mesure celle du docteur M._, effectuée plus de deux ans plus tard, en ce qui concerne tant les plaintes de l'assurée, le status clinique, les diagnostics posés et l'analyse qui en est faite (sous réserve du défaut de l'examen des critères jurisprudentiels dans l'expertise judiciaire). La juridiction cantonale a par ailleurs établi de manière convaincante que dans son appréciation du 28 avril 2011, le docteur E._ avait fait état d'une rémission partielle et de courte durée de l'état de santé psychique de l'assurée, qui ne pouvait être considérée comme une amélioration déterminante.
Dans ces circonstances, compte tenu des conclusions du docteur E._ du 23 février 2010 qui restent valables pour évaluer la situation au moment où s'est prononcé son confrère M._, le résultat de l'appréciation des preuves opérée par l'autorité cantonale de recours, selon lequel les troubles psychiques de l'intimée limitaient sa capacité de travail à 50 % dans une activité adaptée à partir de 2007 n'apparaît pas arbitraire.
5. Dans un second moyen tiré de la violation de l'art. 17 LPGA, le recourant soutient que la juridiction cantonale aurait manqué d'examiner si les conditions d'une modification notable de l'état de santé de la recourante depuis la première décision de refus de prestations étaient réalisées.
Ce grief est mal fondé au regard des constatations des premiers juges qui, après avoir rappelé les conditions auxquelles une rente pouvait être révisée au sens de l'art. 17 LPGA (applicables par analogie en cas de nouvelle demande [ATF 130 V 71]), ont retenu que depuis la décision initiale, l'état de santé psychique de l'assurée s'était aggravé. Tant les médecins traitants que le docteur E._ avaient en effet indiqué qu'elle avait développé depuis son cancer en 2007 un état dépressif de gravité moyenne, alors que ce diagnostic n'avait pas été retenu à l'origine par l'office AI (ni par la juridiction cantonale, cf. jugement du 18 juillet 2007). Cette aggravation avait également été admise par le Service médical régional de l'assurance-invalidité (avis du 9 septembre 2010). Contrairement à ce que prétend le recourant, la juridiction cantonale ne s'est dès lors pas uniquement fondée sur "l'introduction d'un traitement antidépresseur et un suivi psychiatrique d'une durée de deux mois" pour conclure à une modification notable de l'état de santé de l'intimée, mais bien sur l'ensemble des constations médicales au dossier.
6. Pour le reste, ni le calcul du degré d'invalidité, ni le moment de la naissance du droit à la rente ne sont contestés. Il convient toutefois de relever d'office que le début du droit à la rente a été déterminé de façon contraire au droit en application de l'art. 29 al. 1 let. b LAI, dans sa teneur en vigueur jusqu'au 31 décembre 2007 (consid. 18 du jugement entrepris, p. 20 in fine). L'intimée n'a déposé sa nouvelle demande de prestations qu'au mois de décembre 2008, de sorte que le début du droit à la demi-rente ne peut être fixé, conformément à l'art. 29 al. 1 LAI dans sa teneur en vigueur à partir du 1er janvier 2008 - alors applicable, contrairement à ce qu'a retenu à tort la juridiction cantonale -, que six mois plus tard, soit au mois de juin 2009. Eu égard à la date du dépôt de sa nouvelle demande, l'intimée ne saurait se prévaloir d'un quelconque régime transitoire en sa faveur (cf. ATF 138 V 475). Par conséquent, le jugement entrepris doit être réformé sur ce point, en ce sens que la demi-rente d'invalidité est octroyée à l'assurée à partir du 1er juin 2009. Le recours doit, partant être très partiellement admis.
7. Vu l'issue du litige, le recourant qui succombe dans une très large mesure doit prendre en charge les frais judiciaires y afférents (art. 66 al. 1 LTF). L'intimée a droit à une indemnité de dépens pour l'instance fédérale, également à la charge du recourant (art. 68 al. 1 LTF). Il n'y a pas lieu, par ailleurs, de modifier la décision de l'autorité précédente sur les dépens (cf. art. 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est très partiellement admis. Le ch. 4 de la décision de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 26 septembre 2012 est réformée en ce sens que l'assurée est mise au bénéfice d'une demi-rente de l'assurance-invalidité dès le 1er juin 2009. Le recours est rejeté pour le surplus.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée la somme de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 mai 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless