Faits:
A. Titulaire d'un certificat fédéral de capacité de coiffeuse, obtenu en juin 1984, P._ (née en 1966) a été victime d'un accident de la circulation, à la suite duquel elle n'a pas été en mesure d'exercer sa profession. Elle a alors travaillé une quinzaine d'années en qualité d'employée de bureau, avant de suivre une formation de masseuse-réflexologue et d'exercer ce métier à titre indépendant à partir d'avril 2001.
Le 14 avril 2006, P._ a présenté une demande de prestations de l'assurance-invalidité. Après avoir recueilli des renseignements économiques et médicaux, l'Office cantonal genevois de l'assurance-invalidité (ci-après; l'office AI) a, par décision du 17 décembre 2008, rejeté la demande.
B. Dans un premier temps, le Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre des assurances sociales) a nié la recevabilité du recours formé par P._ contre cette décision, puis est entré en matière sur l'écriture de l'assurée, conformément aux instructions du Tribunal fédéral (arrêt 9C_885/2009 du 1er février 2010). Il a confié une expertise au docteur B._, spécialiste FMH en rhumatologie, qui a fait état d'un status après une fracture de la cheville gauche (1983) ayant entraîné une arthrose sévère nécessitant la mise en place d'une prothèse (2001) et d'un blocage articulaire complet de la cheville (après changement de prothèse et ostéotomie du calcanéum [2006]), ainsi que d'une amblyopie profonde et d'un strabisme convergeant de l'oeil droit, et d'une absence de vision binoculaire. L'expert a conclu à une capacité de travail de 20 % dans l'activité de masseuse thérapeutique et réflexologue, ainsi que de 50 % dans l'activité d'employée de bureau depuis le 15 novembre 2001 (rapport remis le 2 novembre 2010). Par jugement du 29 août 2011, la Cour de justice genevoise, Chambre des assurances sociales, a reconnu à l'assurée le droit à un trois quarts de rente de l'assurance-invalidité dès le 1er mai 2005 (ch. 3 du dispositif).
C. L'office AI interjette un recours en matière de droit public contre ce jugement. Il en demande l'annulation et conclut à la reconnaissance du droit de l'assurée à une demi-rente d'invalidité à partir du 1er mai 2005. Il requiert également l'octroi de l'effet suspensif à son recours, ce qui lui a été accordé en tant que sa demande porte sur la partie de la rente excédant la demi-rente d'invalidité, par ordonnance du 9 décembre 2011.
L'assurée conclut au rejet du recours et sollicite en outre l'octroi de l'assistance judiciaire. De son côté, l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Compte tenu des conclusions du recourant (cf. art. 107 al. 1 LTF), le litige porte sur le droit de l'intimée à une demi-rente d'invalidité à partir du 1er mai 2005, en lieu et place du trois quarts de rente d'invalidité reconnu à l'assurée par la juridiction cantonale depuis cette date. A cet égard, le jugement entrepris expose correctement les dispositions légales relatives à la notion d'invalidité et à l'évaluation de l'incapacité de gain des assurés exerçant une activité lucrative. On peut donc y renvoyer.
3. Constatant au vu des conclusions du docteur B._ que l'intimée disposait d'une capacité de travail de 20 % dans l'activité de masseuse-réflexologue et de 50 % dans une activité adaptée d'employée de bureau (dès le mois de mai 2001), les premiers juges ont procédé à une comparaison des revenus au sens de l'art. 16 LPGA. Se référant aux salaires que l'intimée avait obtenus jusqu'en 1999 dans son activité d'employée de bureau - le revenu de son activité indépendante coïncidait avec une période où elle connaissait déjà des difficultés de santé -, ils ont fixé à 65'474 fr. le revenu sans invalidité. Ce montant correspondait à la moyenne des salaires réalisés de 1997 à 1999 (adaptée à l'évolution des salaires jusqu'en 2002), le revenu de 1999 apparaissant nettement plus élevé que celui des années précédentes et devant de ce fait être considéré comme extraordinaire. Pour le revenu après invalidité, la juridiction cantonale s'est fondée sur les salaires statistiques de l'Enquête suisse sur les salaires (ESS), singulièrement sur le revenu obtenu dans l'activité "autres activités commerciales et administratives" (TA7, ligne 23, pour l'année 2002), et l'a fixé à 29'759 fr. en fonction d'une capacité de travail de 50 %. Elle a appliqué à ce montant un abattement de 12 %, soit 10 % en raison de l'exercice d'une activité légère à mi-temps et 2 % à cause des problèmes ophtalmologiques qui s'ajoutaient au troubles rhumatologiques dont souffrait l'intimée. De la comparaison des deux revenus ainsi déterminés (65'474 fr. et 26'188 fr.) il résultait un taux d'invalidité de 60 %, ce qui ouvrait le droit à un trois quarts de rente.
4. 4.1 Avant d'examiner l'unique grief du recourant, qui s'en prend à l'abattement opéré par les premiers juges sur le revenu avec invalidité résultant des statistiques ESS, il convient de se pencher sur l'argumentation de l'intimée relative au revenu sans invalidité. L'assurée reproche à la juridiction cantonale de ne pas s'être référée au salaire obtenu pendant la seule année 1999, mais sur la moyenne des salaires réalisés entre 1997 et 1999 dans son ancienne activité d'employée de bureau. Son grief, qui relève d'une critique des règles sur la manière de déterminer le revenu sans invalidité et donc d'une question de droit (cf. art. 106 al. 1 LTF), est mal fondé.
Il ressort en effet des constatations de la juridiction cantonale que l'intimée a obtenu en 1999 un revenu nettement plus élevé que ceux réalisés les années précédentes, alors qu'elle a travaillé auprès du même employeur jusqu'à la fin de cette année-là. Ainsi, son salaire avait évolué de la manière suivante: 49'140 fr. (1995), 54'833 fr. (1996), 57'486 fr. (1997), 56'110 fr. (1998) et 69'651 fr. (1999). Dans un tel cas, lorsque le dernier salaire obtenu par l'assuré avant la survenance de l'invalidité est nettement plus élevé que les revenus obtenus jusqu'alors, il ne peut servir de référence pour le revenu sans invalidité que s'il est établi, selon la vraisemblance prépondérante, que l'assuré aurait continué à réaliser un tel salaire (arrêt 9C_5/2009 du 16 juillet 2009 consid. 2.3, in SVR 2009 IV n° 58 p. 181). L'intimée ne fait valoir aucun argument qui permettrait de considérer qu'elle aurait continué à gagner un salaire ayant subi une augmentation majeure par rapport à celles accordées les années précédentes et d'établir que cette majoration n'était pas due, comme on peut le penser, à la fin des rapports de travail. La juridiction cantonale était donc en droit de ne pas se référer uniquement au dernier salaire obtenu en 1999, mais de déterminer le revenu sans invalidité à l'aide d'une moyenne des salaires obtenus dans les trois années précédentes.
4.2 En relation avec l'abattement sur le revenu d'invalide, le recourant soutient que la juridiction cantonale a abusé de son pouvoir d'appréciation et appliqué arbitrairement le droit fédéral en retenant une déduction de 12 %. Celle-ci ne serait pas justifiée au regard des critères à prendre en compte, puisque les limitations liées au handicap de l'assurée avaient été prises en considération dans l'appréciation de sa capacité de travail et une réduction de 2 % supplémentaire contrevenait au principe d'une évaluation globale des facteurs déterminants.
4.2.1 Une déduction sur le montant du salaire d'invalide résultant des statistiques ESS en raison d'empêchements propres à l'assuré ne doit pas être opérée automatiquement, mais seulement lorsqu'il existe des indices qu'en raison d'un ou de plusieurs facteurs, l'intéressé ne peut mettre en valeur sa capacité résiduelle de travail sur le marché du travail qu'avec un résultat économique inférieur à la moyenne. Par ailleurs, il n'y a pas lieu de procéder à des déductions distinctes pour chacun des facteurs entrant en considération comme les limitations liées au handicap, l'âge, les années de service, la nationalité ou la catégorie de permis de séjour, ou encore le taux d'occupation. Il faut bien plutôt procéder à une évaluation globale, dans les limites du pouvoir d'appréciation, des effets de ces facteurs sur le revenu d'invalide, compte tenu de l'ensemble des circonstances du cas concret. Une déduction globale maximale de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (ATF 126 V 75 consid. 5b/aa-cc p. 79).
4.2.2 Comme le fait valoir à juste titre le recourant, la manière de procéder de la juridiction cantonale contrevient aux règles jurisprudentielles rappelées ci-avant. En tant qu'elle a appliqué une première déduction de 10 % (pour l'exercice d'une activité légère à mi-temps), à laquelle elle a ajouté une déduction de 2 % à cause des problèmes ophtalmologiques rencontrés par l'intimée, l'autorité cantonale de recours a procédé à des déductions distinctes pour des facteurs séparés à prendre en considération. Une telle fragmentation n'est pas compatible avec une évaluation globale des effets des empêchements sur le revenu d'invalide qui suppose un examen des facteurs considérés dans leur ensemble et non pas une addition schématique de pourcentages. De plus, la juridiction cantonale se contente d'évoquer les problèmes ophtalmologiques sans démontrer en quoi ils constitueraient un inconvénient se répercutant sur le revenu d'invalide qu'elle n'aurait pas déjà pris en considération pour déterminer l'étendue de la capacité de travail de l'intimée et l'activité exigible. A cet égard, elle a retenu qu'il n'y avait pas lieu de revoir l'étendue de la capacité de travail retenue par l'expert B._ "sous l'angle ophtalmologique" puisque l'intimée avait précisé que ses troubles de la vue (présents depuis la naissance) n'avaient pas motivé la réduction de son temps de travail comme employée de banque. Au demeurant, l'empêchement dont a fait état le docteur B._ en relation avec les troubles ophtalmologiques - travail sur ordinateur limité à 4 heures par jour (cf. aussi l'avis du docteur D._, spécialiste FMH en ophtalmologie, du 2 mai 2006) - est compatible avec l'exigibilité d'une capacité de travail de 50 % dans l'activité d'employée de bureau à laquelle a conclu l'expert.
Quant au critère du taux d'occupation réduit, il n'a guère d'importance en l'occurrence. Selon les statistiques, les femmes exerçant une activité à temps partiel ne gagnent souvent pas un revenu moins élevé que les personnes travaillant à plein temps. On peut penser ici à des domaines d'activités dans lesquels les postes à temps partiel sont répandus et répondent à un besoin de la part des employeurs, qui sont prêts à les rémunérer en conséquence. L'activité à temps partiel chez les femmes peut même, en comparaison avec un travail à plein temps, être proportionnellement mieux rémunérée, de sorte qu'une déduction sur le revenu d'invalide n'est pas justifiée (cf. LSE 2002, tableau T8*, p. 28: salaire mensuel [valeur centrale] des femmes, niveau de qualification 4, taux d'activité 90 % et plus: 3'792 fr., taux d'activité de 50 % à 74 %: 3'983 fr.; différence + 4,8 %).
Contrairement à ce que voudrait l'intimée en invoquant le fait qu'elle n'a plus effectué des activités de secrétariat depuis 1999, on ne saurait pas non plus fonder une déduction sur le facteur des années de service, puisqu'elle a à l'époque quitté ce secteur d'activités afin d'exercer une nouvelle profession (à titre indépendant), soit pour des raisons étrangères à ses problèmes de santé.
4.2.3 Dans ces circonstances, il est contraire au droit d'imposer à l'administration une déduction (de 12 %) pour fixer le revenu d'invalide. Celui-ci doit donc être déterminé de la manière suivante: 4'769 fr. (salaire de référence, tel que constaté par la juridiction cantonale), adapté à l'horaire de travail hebdomadaire en 2002 (41,7 heures [La Vie économique, 11/2006, B 9.2, p. 90] et non pas 41,6 comme retenu de manière manifestement inexacte dans le jugement entrepris) et converti en salaire annuel, soit 59'660 fr. par an x 0,5 (capacité de travail de 50 %) = 29'830 fr.
La comparaison du revenu d'invalide avec le revenu sans invalidité (65'474 fr.) met en évidence un degré d'invalidité de 54,43 %, ce qui ouvre le droit à une demi-rente d'invalidité (art. 28 al. 2 LAI).
5. En conséquence de ce qui précède, le jugement entrepris doit être réformé en ce sens que l'intimée a droit à une demi-rente de l'assurance-invalidité dès le 1er mai 2005. Partant, le recours se révèle bien fondé.
6. Vu l'issue du litige, les frais judiciaires sont mis à la charge de l'assurée (art. 66 al. 1 LTF) qui ne peut prétendre des dépens (art. 68 al. 1 LTF). Les conditions auxquelles l'art. 64 al. 1 et 2 LTF subordonne l'octroi de l'assistance judiciaire étant toutefois réalisées, celle-ci lui est octroyée. Son attention est attirée sur le fait qu'elle devra rembourser la caisse du Tribunal si elle devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).
L'issue du litige n'a en revanche pas d'incidence sur la répartition des dépens et des frais de première instance, au regard des conclusions de l'assurée qui demandait à la juridiction cantonale de fixer le taux d'invalidité et de lui octroyer une rente de l'assurance-invalidité (cf. art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le ch. 3 du dispositif du jugement de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 29 août 2011 est réformé en ce sens que P._ a droit à une demi-rente de l'assurance-invalidité dès le 1er mai 2005.
2. L'assistance judiciaire est accordée à l'intimée.
3. Les frais judiciaires arrêtés à 500 fr. sont mis à la charge de l'intimée. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Me Doris Vaterlaus est désignée en tant qu'avocate d'office de l'intimée et une indemnité de 1'400 fr., supportée par la caisse du Tribunal, lui est allouée à titre d'honoraires.
5. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 30 avril 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless