Faits:
A. A.a A._, né en 1949, et dame A._, née en 1950, se sont mariés le 16 février 1973 à Genève. Deux enfants, aujourd'hui majeurs, sont issus de cette union. Les époux se sont séparés le 1er septembre 1995.
Par jugement du 12 juin 2003, le Tribunal de première instance de Genève a prononcé le divorce des conjoints et donné acte au mari de son engagement de verser à l'épouse une contribution d'entretien mensuelle de 4'000 fr. jusqu'au mois d'avril 2014 compris.
A.b Le 20 décembre 2003, A._ a épousé B._, née en 1971. Ils ont eu deux enfants: C._, né en 2003, et D._, né en 2006.
B. B.a Le 22 mai 2008, A._ a sollicité la modification du jugement de divorce, concluant à ce que la contribution d'entretien soit réduite à 1'000 fr. par mois dès le 1er avril 2008. A l'appui de ses conclusions, il a invoqué sa mise à la retraite anticipée au 31 mars 2008 en raison d'une restructuration de la société qui l'employait, son remariage et la naissance de ses deux enfants.
Par jugement du 26 mai 2009, le Tribunal de première instance a réduit le montant de la pension après divorce à 3'000 fr. par mois. En substance, il a retenu que le débirentier avait délibérément renoncé à obtenir des ressources plus importantes en louant sa villa à sa fille pour un prix de faveur de 900 fr., alors qu'il aurait pu en retirer 3'500 fr. par mois. Par ailleurs, sa nouvelle épouse étant titulaire d'un diplôme de fin d'études de l'Ecole de culture générale, elle pouvait réaliser un salaire afin de subvenir en partie à l'entretien de ses enfants. Quant à dame A._, il a considéré qu'elle aurait dû, pour sa part, conserver son emploi de téléphoniste-réceptionniste pour maintenir son train de vie.
B.b Les deux parties ont formé un appel devant la Cour de justice du canton de Genève. A._ a conclu à ce que la contribution d'entretien soit réduite à 1'000 fr. par mois dès le 1er avril 2008. Dame A._ a conclu au maintien de la contribution d'entretien à 4'000 fr. telle que prévue dans le jugement de divorce. Par arrêt du 12 mars 2010, la cour cantonale a réduit la contribution d'entretien à 1'500 fr. par mois, dès l'entrée en force de son arrêt et jusqu'au 30 avril 2014.
B.c Chacune des parties a exercé un recours en matière civile contre l'arrêt du 12 mars 2010. Dame A._ a conclu à la confirmation du jugement de première instance rendu le 26 mai 2009 fixant la pension à 3'000 fr. A._ a conclu à ce que le montant de la contribution d'entretien soit fixé à 1'000 fr. par mois, du 22 mai 2008 jusqu'au mois d'avril 2014.
Par arrêt du 28 octobre 2010 (5A_290/2010), le Tribunal fédéral a partiellement admis les recours, annulé l'arrêt attaqué et renvoyé la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. En bref, il a considéré que l'instance cantonale avait violé le droit fédéral en imputant un revenu hypothétique de 2'847 fr. à la recourante, d'une part, et de 1'196 fr. à l'épouse du recourant, d'autre part.
C. Dans le cadre de ce renvoi devant l'autorité cantonale, A._ a conclu à la réduction de la contribution d'entretien en faveur de dame A._ à 1'000 fr. par mois dès le 22 mai 2008 jusqu'au mois d'avril 2014. Dame A._ a conclu à l'annulation du jugement entrepris, en tant qu'il réduit à 3'000 fr. par mois le montant de la contribution d'entretien, et à la confirmation du jugement de divorce du 12 juin 2003 fixant la pension à 4'000 fr. Statuant le 17 juin 2011, la Cour de justice a annulé le jugement de première instance du 26 mai 2009. Elle a réduit la contribution d'entretien due par A._ pour l'entretien de dame A._ à 3'500 fr. par mois, du 22 mai 2008 jusqu'au 30 avril 2014.
Pour fixer la contribution d'entretien précitée, la cour a notamment retenu qu'en 2005, A._ avait acquis par succession la propriété, non hypothéquée, d'une parcelle de 2'578 m2 à Y._, sur laquelle était érigée une villa de 115 m2 qu'il louait à sa fille pour un prix de faveur de 900 fr. par mois, lui-même occupant avec sa famille l'ancienne villa conjugale, dont il était devenu seul propriétaire après le divorce. Selon la cour, pour faire face à ses obligations d'entretien envers dame A._, A._ devait grever cette villa d'une hypothèque et obtenir ainsi un emprunt de 200'000 fr., le loyer de 10'800 fr. par an (12 x 900 fr.) lui permettant de payer les intérêts et l'amortissement usuels d'un tel emprunt, totalisant 5% du capital par année. Réparti du 22 mai 2008 au 30 avril 2014, soit sur 72 mois, le capital de 200'000 fr. lui permettait d'obtenir un montant net de 1'880 fr. par mois (2'777 fr. 77 - 900 fr.), en sus de ses revenus.
D. A._ (ci-après: le recourant) exerce un recours en matière civile contre cet arrêt. Principalement, il conclut à sa réforme en ce sens que la contribution d'entretien due à dame A._ (ci-après: l'intimée) soit réduite à 1'000 fr. par mois dès le 22 mai 2008 jusqu'au mois d'avril 2014 y compris; subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. En substance, il invoque la violation du principe de l'autorité de l'arrêt de renvoi, des art. 9 (arbitraire dans l'application du droit de procédure cantonal et dans l'appréciation des preuves) et 29 al. 2 Cst., 8 et 129 CC.
Invitées à déposer leurs observations, l'intimée a conclu au rejet du recours et l'autorité cantonale s'est référée aux considérants de l'arrêt attaqué.
E. Par ordonnance présidentielle du 13 septembre 2011, l'effet suspensif au recours a été refusé.

Considérant en droit:
1. Le recours est dirigé contre une décision finale (<ref-law>), prise en dernière instance cantonale et par le tribunal supérieur du canton de Genève (<ref-law>) sur renvoi du Tribunal fédéral [dans une affaire civile de nature pécuniaire (<ref-law>), dont la valeur litigieuse est supérieure à 30'000 fr. (art. 51 al. 1 let. a et al. 4, 74 al. 1 let. b LTF)]. Il a de plus été interjeté en temps utile (<ref-law>) et en la forme prévue par la loi (<ref-law>), par la partie qui a succombé dans ses conclusions prises devant l'autorité précédente et qui a par conséquent la qualité pour recourir (<ref-law>). Il y a donc lieu, en principe, d'entrer en matière sur le recours.
2. 2.1 Le principe de l'autorité de l'arrêt de renvoi, que prévoyait expressément l'art. 66 al. 1 aOJ, demeure applicable sous la LTF (<ref-ruling> consid. 2; cf. infra consid. 4.1). Il en résulte que les considérants de l'arrêt de renvoi lient les parties et le Tribunal fédéral lui-même. Celui-ci ne peut pas se fonder sur des considérations qu'il avait écartées ou dont il avait fait abstraction dans sa précédente décision (<ref-ruling> consid. 2). Quant aux parties, elles ne peuvent plus faire valoir, dans un nouveau recours contre la nouvelle décision cantonale, des moyens que le Tribunal fédéral avait expressément rejetés dans l'arrêt de renvoi (<ref-ruling> consid. 4.2) ou qu'il n'avait pas eu à examiner, faute pour les parties de les avoir invoqués dans la première procédure de recours, alors qu'elles pouvaient - et devaient - le faire (arrêt 2C_184/2007 du 4 septembre 2007, consid. 3.1; <ref-ruling> consid. 2); elles ne peuvent pas non plus prendre des conclusions dépassant celles prises dans leur précédent recours devant le Tribunal fédéral (arrêt 5A_580/2010 du 9 novembre 2010 consid. 4.3 et les références citées).
Dans ces limites, un (nouveau) recours en matière civile peut être formé pour violation du droit fédéral (<ref-law>), y compris les droits constitutionnels (<ref-ruling> consid. 1.2). S'il entend soulever ce dernier grief, le recourant doit exposer en quoi consiste la violation alléguée, c'est-à-dire discuter les motifs de la décision entreprise et indiquer en quoi il estime que l'autorité précédente a méconnu ses droits constitutionnels ("principe d'allégation"; <ref-law>; <ref-ruling> consid. 3.2; <ref-ruling> consid. 1.4.2; <ref-ruling> consid. 1.4). Sous réserve des hypothèses visées à l'art. 95 let. c et d LTF, la violation du droit cantonal n'est pas un motif de recours; il est néanmoins possible de faire valoir que la mauvaise application du droit cantonal est arbitraire, au sens de l'art. 9 Cst., ou contraire à un autre droit constitutionnel (<ref-ruling> consid. 2.3).
2.2 Par ailleurs, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.4) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La correction du vice doit en outre être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). S'agissant de l'appréciation des preuves et de la constatation des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 5.4). Le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques appellatoires (<ref-ruling> consid. 1.4).
3. 3.1 En vertu de l'arrêt de renvoi du Tribunal fédéral (arrêt 5A_290/2010 du 28 octobre 2010), la cour cantonale devait prendre une nouvelle décision sur trois points: premièrement, le revenu hypothétique de l'intimée, dans son principe et son montant et, en conséquence, la prise en compte, ou non, dans ses charges de cotisations AVS et/ou de frais de transport professionnels, deuxièmement, le montant du revenu hypothétique de la seconde épouse du recourant et, troisièmement, le point de départ de la modification du jugement de divorce.
3.2 En substance, la cour cantonale a tranché la première de ces questions en ce sens que l'intimée, âgée de 61 ans et sans formation professionnelle, ne pouvait plus accomplir d'activité lucrative et que, en conséquence, il fallait intégrer dans ses charges sa cotisation AVS de 260 fr.; la seconde, en ce sens que l'épouse du recourant pouvait réaliser un revenu de 528 fr. net par mois en gardant des enfants, au tarif horaire de 15 fr. conseillé par l'Université de Genève à ses étudiants et à raison de 10 heures par semaine; la troisième, en ce sens que la modification du jugement devait prendre effet dès le dépôt de la demande, l'intimée devant s'attendre à une réduction de sa pension dès le début de la procédure. Pour fixer la contribution d'entretien de l'intimée à 3'500 fr., la cour cantonale a en outre tenu compte de la fortune immobilière du recourant. Elle a jugé qu'on pouvait attendre de ce dernier qu'il grève la villa qu'il louait à sa fille, acquise par succession après le divorce, pour obtenir un emprunt de 200'000 fr. qui, compte tenu de l'amortissement et du paiement des intérêts, totalisant 5% par an, lui permettait de prélever un montant de 1'880 fr. par mois, du 22 mai 2008 au 30 avril 2014.
4. Dans son premier grief, le recourant reproche à l'autorité cantonale d'avoir violé le principe de l'autorité de l'arrêt de renvoi.
4.1 En vertu du principe de l'autorité de l'arrêt de renvoi (cf. supra consid. 2.1), l'autorité cantonale est tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Le juge auquel la cause est renvoyée voit donc sa cognition limitée par les motifs de cet arrêt, en ce sens qu'il est lié par ce qui a été déjà tranché définitivement par le Tribunal fédéral (<ref-ruling> consid. 3b; <ref-ruling> consid. 1) et par les constatations de fait qui n'ont pas été attaquées devant celui-ci (<ref-ruling> consid. 3d). Des faits nouveaux ne peuvent être pris en considération que sur les points qui ont fait l'objet du renvoi et dans la mesure où le droit de procédure applicable autorise leur introduction à ce stade de la procédure. Ces faits ne peuvent être ni étendus ni fixés sur une base juridique nouvelle (<ref-ruling> consid. 5.2).
4.1 En vertu du principe de l'autorité de l'arrêt de renvoi (cf. supra consid. 2.1), l'autorité cantonale est tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Le juge auquel la cause est renvoyée voit donc sa cognition limitée par les motifs de cet arrêt, en ce sens qu'il est lié par ce qui a été déjà tranché définitivement par le Tribunal fédéral (<ref-ruling> consid. 3b; <ref-ruling> consid. 1) et par les constatations de fait qui n'ont pas été attaquées devant celui-ci (<ref-ruling> consid. 3d). Des faits nouveaux ne peuvent être pris en considération que sur les points qui ont fait l'objet du renvoi et dans la mesure où le droit de procédure applicable autorise leur introduction à ce stade de la procédure. Ces faits ne peuvent être ni étendus ni fixés sur une base juridique nouvelle (<ref-ruling> consid. 5.2).
4.2 4.2.1 Le recourant reproche à l'autorité cantonale d'avoir violé le principe de l'autorité de l'arrêt de renvoi pour quatre motifs:
Tout d'abord, elle a fixé la contribution d'entretien à 3'500 fr., alors que, dans son recours en matière civile du 16 avril 2010, l'intimée a conclu à la confirmation du jugement de première instance, qui fixe cette contribution d'entretien à 3'000 fr. La cour cantonale ne pouvait donc pas statuer au-delà de ce montant.
Ensuite, la cour cantonale a, dans son premier arrêt du 12 mars 2010, fixé la contribution d'entretien sans prendre en compte sa fortune immobilière et l'intimée n'a pas critiqué ce point dans son recours en matière civile. Par ailleurs, le Tribunal fédéral a rejeté le grief de l'intimée, selon lequel il pourrait retirer un revenu plus important de la location de son immeuble. Dès lors, dans son arrêt sur renvoi, la cour cantonale ne pouvait pas fixer la pension en tenant compte d'un éventuel emprunt qu'il pourrait contracter sur son immeuble.
En outre, dans son premier arrêt, la cour cantonale a pris en compte des frais de transport à hauteur de 70 fr. dans ses charges et l'intimée n'a pas critiqué ce point devant le Tribunal fédéral. Partant, c'est à tort que la cour cantonale a omis de tenir compte de cette charge dans son budget.
Enfin, dans son recours en matière civile, il a reproché à l'autorité cantonale d'avoir rendu une décision arbitraire en constatant que l'intimée avait affecté la fortune reçue en liquidation du régime matrimonial à l'achat de sa maison et que ses revenus ne lui avaient pas permis de réaliser des économies significatives. Le Tribunal fédéral a laissé ouverte cette question. Partant, c'est à tort que la cour cantonale a affirmé que l'état de la fortune de l'intimée n'avait pas été contesté dans le cadre de la procédure fédérale et ne faisait donc pas partie des questions à trancher suite au renvoi.
4.2.2 A cette argumentation, l'intimée répond que les conclusions qu'elle a prises devant l'autorité cantonale dans sa réponse du 14 janvier 2011, après le renvoi par le Tribunal fédéral, sont identiques à celles de sa réponse en appel du 14 septembre 2009. Elle en déduit que la cour cantonale était en droit de lui accorder le montant de 3'500 fr. à titre de pension. Elle souligne aussi que, dans son arrêt de renvoi, le Tribunal fédéral a jugé que les juges cantonaux n'avaient pas violé le droit fédéral en retenant uniquement les charges strictement indispensables dans le budget des parties. Elle en déduit que l'autorité cantonale n'a pas outrepassé le cadre du renvoi en ne retenant pas dans ses calculs des frais de transports du recourant.
4.3 En l'espèce, l'instance précédente a violé le principe de l'autorité de l'arrêt de renvoi sur deux points: premièrement, dans son recours en matière civile du 16 avril 2010, l'intimée a conclu au versement d'une contribution d'entretien de 3'000 fr., en demandant la confirmation du jugement du 26 mai 2009 rendu en première instance. Elle ne pouvait donc pas prendre des conclusions supérieures à ce montant devant l'autorité de renvoi, au détriment du recourant (interdiction de la reformatio in pejus). Ainsi, les juges précédents ne pouvaient pas accorder à l'intimée une contribution d'entretien supérieure, de 3'500 fr., et aggraver ainsi la position juridique du recourant. Secondement, dans son premier arrêt sur appel du 12 mars 2010, l'autorité cantonale a ajouté aux charges indispensables du recourant le montant de 70 fr. à titre d'abonnement aux transports publics; la raison était qu'en ayant à charge deux enfants mineurs, ce dernier devait pouvoir se déplacer régulièrement. L'intimée n'a soulevé aucun grief devant le Tribunal fédéral sur ce point. Partant, c'est à tort que l'autorité cantonale a soustrait ce montant du budget du recourant pour rendre sa nouvelle décision.
En revanche, l'instance précédente n'a pas violé le principe de l'autorité de l'arrêt de renvoi sur les deux autres points que le recourant invoque. Premièrement, la cour cantonale était en droit d'examiner si le recourant devait mettre à contribution sa fortune pour verser la contribution d'entretien. Dans son arrêt de renvoi, le Tribunal fédéral a uniquement tranché qu'il n'était pas arbitraire de considérer que le recourant ne pouvait pas retirer un revenu mensuel supérieur à 900 fr. de la location de son immeuble, pour des motifs tenant au droit du bail. En revanche, il n'a pas exclu que le recourant puisse tirer autrement profit de cet immeuble. Bien au contraire, il a expressément jugé qu'on ne pouvait suivre le recourant dans sa détermination de son disponible car il "n'intégr[ait] pas dans ses calculs les deux immeubles dont il était propriétaire" (cf. arrêt 5A_290/2010 consid. 8 in fine). Sur ce point, l'autorité cantonale était donc libre dans sa décision. Quant à la critique du recourant selon laquelle la cour cantonale serait revenue sur sa propre appréciation en considérant qu'il s'était mis volontairement dans l'impossibilité d'obtenir un loyer plus élevé, elle est également infondée. Bien au contraire, dans son premier arrêt, la cour avait retenu que le loyer perçu constituait un "loyer de faveur", reprenant d'ailleurs les propres propos du recourant à cet égard (cf. arrêt du 12 mars 2010 p. 8). Elle avait toutefois décidé que le recourant ne pouvait pas demander de loyer plus élevé que l'actuel.
Secondement, la critique du recourant, qui soutient que la cour cantonale a considéré à tort que le cadre du renvoi lui interdisait d'instruire sur l'état de la fortune de l'intimée, est infondée. Dans son précédent recours en matière civile, le recourant s'est plaint seulement de l'appréciation arbitraire des preuves, et non de l'établissement lacunaire des faits, qui constitue une violation de la norme de droit matériel à l'application de laquelle servent les compléments de fait requis. A suivre sa critique, la cour cantonale avait donc, uniquement, mal apprécié les pièces présentes au dossier; en revanche, il ne se plaignait pas qu'une preuve offerte à l'appui d'un de ses allégués eût été refusée à tort. En outre, le recourant n'a pas non plus prétendu, en instance cantonale, alléguer des faits nouveaux sur la fortune de son épouse. Partant, c'est avec raison que la cour cantonale n'a pas complété l'instruction sur ce point.
5. S'agissant du revenu hypothétique de 528 fr. imputable à sa seconde épouse, le recourant se plaint d'arbitraire (art. 9 Cst.) dans l'application de la maxime des débats, consacrée à l'art. 126 al. 2 de l'ancienne loi de procédure civile genevoise (ci-après: aLPC/GE), ainsi que de la violation des art. 29 al. 2 Cst. et 8 CC. Il semble aussi invoquer l'arbitraire dans l'application du principe de disposition.
5.1 Les motifs que le recourant développe pour démontrer l'arbitraire dans l'application du droit cantonal ne concernent que le rassemblement des faits et des preuves, et non l'objet du procès. Le recourant se trompe donc manifestement sur le contenu du principe de disposition, qui ne lui est d'aucune aide. Par ailleurs, il ne présente aucune motivation détaillée à l'appui de la violation de l'art. 29 al. 2 Cst. En conséquence, ces deux griefs sont irrecevables (cf. supra consid. 2.1).
5.2 Pour le reste, le recourant soutient que la cour cantonale a retenu, en fait, que son épouse pouvait obtenir un revenu mensuel net de 528 fr. alors que, ni dans ses écritures de première instance, ni dans ses écritures d'appel, l'intimée, à qui la preuve de ce fait incombait en vertu de l'<ref-law>, n'avait allégué un quelconque montant à titre de revenu hypothétique. Elle s'était limitée à prétendre que cette personne devait utiliser sa capacité de gain, sans chiffrer celle-ci. Ensuite, il soulève que la cour cantonale a tenu pour établi le salaire de 15 fr./heure allégué par l'intimée alors que ce montant n'était pas prouvé et qu'il l'avait lui-même contesté, en niant la possibilité pour son épouse de tirer un revenu quelconque d'une profession. Selon lui, la cour cantonale aurait aussi dû considérer comme tardif l'allégué de l'intimée sur ce salaire, car produit dans ses conclusions après renvoi de la cause par le Tribunal fédéral.
5.3 En l'espèce, l'intimée a certes allégué le tarif de 15 fr./heure lors de la reprise de la procédure devant l'instance cantonale, sans se prévaloir du caractère nouveau de ce fait. Toutefois, ce montant ressort d'informations disponibles à tout un chacun sur le site Internet de l'Université de Genève. Il s'agit ainsi d'un fait notoire qui n'avait ni à être allégué, ni à être prouvé (<ref-ruling> consid. 4.1 et les arrêts cités). La cour cantonale disposait de tous les éléments de fait nécessaires pour déterminer le salaire mensuel de l'épouse du recourant (soit le nombre d'heures que pouvait effectuer cette personne en fonction de son horaire de cours et du temps nécessaire à accomplir ses tâches éducatives et ménagères ainsi que le tarif horaire).
Partant, les griefs du recourant doivent tous être rejetés, pour autant qu'ils soient recevables.
6. Toujours en lien avec le revenu hypothétique imputé à son épouse, le recourant se plaint encore d'arbitraire dans l'établissement des faits (art. 9 Cst.) et de la violation de l'<ref-law>.
6.1 Il soutient que, même si on retient que l'arrêt est conforme à l'<ref-law> et au droit de procédure cantonal, la cour cantonale a établi de manière arbitraire que son épouse, âgée de 40 ans, peut s'absenter 10 heures par semaine de son foyer, alors qu'elle a deux enfants nés en 2003 et 2006, pour faire du baby-sitting en soirée notamment; à cela s'ajoute que la cour cantonale aurait omis à tort de prendre en considération la charge fiscale et les frais de transport qu'un tel revenu implique, si bien que le revenu devrait être arrêté à 250 fr. au maximum. En outre, la cour cantonale a violé l'<ref-law> en considérant qu'on peut raisonnablement exiger de son épouse qu'elle s'absente 40 heures par mois de son foyer.
6.2 En l'espèce, les griefs du recourant doivent tous être rejetés, pour autant qu'ils soient recevables.
6.2.1 S'agissant de la capacité de gain de l'épouse du recourant, le Tribunal fédéral a, dans son arrêt de renvoi, définitivement jugé qu'on pouvait raisonnablement imputer un revenu hypothétique à celle-ci (cf. arrêt 5A_290/2010 consid. 6.2); le recourant ne peut donc à nouveau soulever ce moyen de droit dans le présent recours (cf supra consid. 2.1).
6.2.2 Pour ce qui est de la possibilité concrète pour l'épouse de travailler 10 heures par semaine et de gagner 528 fr. par mois, la critique de fait présentée par le recourant est purement appellatoire (cf. supra consid. 2.2). Il ne fait qu'opposer son propre point de vue à l'argumentation de la cour cantonale, sans expliquer pourquoi l'appréciation de cette dernière qui, outre du tarif de 15 fr./heure, a tenu compte du temps nécessaire à l'épouse pour accomplir ses études, de la disponibilité du recourant qui, retraité, peut s'occuper des tâches ménagères et éducatives, de l'âge de l'épouse ainsi que de sa précédente activité de maman de jour, serait arbitraire.
6.2.3 Enfin, au sujet de la charge fiscale supportée par son épouse, le recourant ne prétend pas avoir soulevé cette critique dans son précédent recours, alors qu'un revenu hypothétique plus élevé, soit de 1'196 fr., avait déjà été imputé à son épouse (cf. supra consid. 2.1). Pour ce qui est des frais de transport supportés par celle-ci, le Tribunal fédéral a déjà tranché cette question dans son arrêt de renvoi en jugeant qu'il ne fallait pas prendre en considération cette charge (cf. arrêt 5A_290/2010 consid. 7), de sorte que le recourant ne peut plus soulever une nouvelle fois ce moyen dans le présent recours (cf. supra consid. 2.1).
7. Pour ce qui est de la situation financière de l'intimée, le recourant fait grief à l'autorité cantonale d'avoir violé l'<ref-law> en recalculant celle-ci en fonction d'un revenu (hypothétique) inférieur à celui (effectif) que l'intimée gagnait au moment du divorce. En substance, il soutient que l'autorité cantonale aurait dû se limiter à examiner les faits nouveaux intervenus dans sa propre situation financière, sans recalculer celle de l'intimée.
En l'espèce, le Tribunal fédéral a précisément renvoyé la cause à l'autorité cantonale pour qu'elle examine en fait et en droit si on pouvait imputer un revenu hypothétique à l'intimée et, le cas échéant, dans quelle profession et à hauteur de quel montant. Partant, le recourant ne peut plus, dans le présent recours, argumenter que la question du revenu hypothétique de l'intimée ne doit pas être examinée (cf. supra consid. 2.1).
8. Ensuite, le recourant fait grief à l'autorité cantonale d'avoir violé l'<ref-law> et d'avoir établi les faits de manière arbitraire (art. 9 Cst.), en renonçant à imputer à l'intimée un revenu hypothétique résultant d'une activité lucrative, en sus du revenu hypothétique de 700 fr. résultant de la location de son entrepôt.
8.1 Il prétend tout d'abord que la cour cantonale a suivi à tort les allégués de l'intimée sur son expérience professionnelle, qui est, selon lui, bien plus étendue que celle retenue. Ensuite, le recourant soutient que la cour cantonale aurait dû se placer, pour apprécier la capacité de gain de l'intimée, au jour du dépôt de l'action, lorsque l'intimée était âgée de 58 ans, et non au jour du prononcé de son arrêt, lorsqu'elle était âgée de 61 ans. Enfin, il explique qu'il est arbitraire et contraire à l'égalité des époux de considérer qu'une femme de 58 ans, sans aucune charge de famille, trilingue et vivant seule ne pourrait pas déployer la même activité de baby-sitting que sa propre épouse, sur un temps de travail plus étendu (40 heures/semaine), afin d'obtenir un gain net de 2'112 fr.
8.1 Il prétend tout d'abord que la cour cantonale a suivi à tort les allégués de l'intimée sur son expérience professionnelle, qui est, selon lui, bien plus étendue que celle retenue. Ensuite, le recourant soutient que la cour cantonale aurait dû se placer, pour apprécier la capacité de gain de l'intimée, au jour du dépôt de l'action, lorsque l'intimée était âgée de 58 ans, et non au jour du prononcé de son arrêt, lorsqu'elle était âgée de 61 ans. Enfin, il explique qu'il est arbitraire et contraire à l'égalité des époux de considérer qu'une femme de 58 ans, sans aucune charge de famille, trilingue et vivant seule ne pourrait pas déployer la même activité de baby-sitting que sa propre épouse, sur un temps de travail plus étendu (40 heures/semaine), afin d'obtenir un gain net de 2'112 fr.
8.2 8.2.1 Lorsque le recourant entend faire compléter les faits - pertinents et qui n'auraient pas été constatés en violation du droit -, il doit les désigner avec précision en se référant aux pièces du dossier; le complètement suppose en effet que les allégations de fait correspondantes aient été introduites régulièrement et en temps utile dans la procédure cantonale, qu'elles aient été considérées à tort comme dépourvues de pertinence ou aient été simplement ignorées; si ces exigences ne sont pas respectées, les faits invoqués sont réputés nouveaux (<ref-law>), partant irrecevables (arrêt 5A_338/2010 du 4 octobre 2010 consid. 3.2 et les références citées, publié in SJ 2011 I 185).
8.2.2 En l'espèce, s'agissant de l'établissement des faits concernant l'expérience professionnelle de l'intimée, le recourant invoque des éléments non retenus en instance cantonale, au sujet desquels il ne tente pas de démontrer qu'ils auraient été écartés alors qu'il les avait dûment allégués et offert de prouver. Partant, le grief doit être déclaré irrecevable, en vertu de l'<ref-law>.
8.2.2 En l'espèce, s'agissant de l'établissement des faits concernant l'expérience professionnelle de l'intimée, le recourant invoque des éléments non retenus en instance cantonale, au sujet desquels il ne tente pas de démontrer qu'ils auraient été écartés alors qu'il les avait dûment allégués et offert de prouver. Partant, le grief doit être déclaré irrecevable, en vertu de l'<ref-law>.
8.3 8.3.1 De jurisprudence constante, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit censurée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 3.1).
8.3.2 Pour toute critique sur la possibilité effective de l'intimée de réaliser un revenu, le recourant procède à une comparaison entre la situation de l'intimée et celle de son épouse. Il soutient que celle-ci peut, comme celle-là, réaliser un revenu en faisant du baby-sitting. Purement appellatoire, l'argumentation du recourant est irrecevable (cf. consid. 2.2).
8.3.3 Pour le reste, il n'y a pas lieu d'examiner si la cour cantonale aurait dû se placer au moment de l'introduction de la requête en modification, au lieu de celui de la décision sur appel, pour déterminer si on peut raisonnablement attendre de l'intimée qu'elle se réinsère professionnellement. Qu'on se place au moment où l'intimée avait 58 ou 61 ans, le recourant ne parviendrait pas à démontrer, en fait, qu'il est arbitraire de retenir que l'intimée ne peut plus obtenir de revenu d'une activité lucrative. Le grief doit être rejeté.
9. Le recourant se plaint d'arbitraire, au sens de l'art. 9 Cst., dans l'application de la maxime des débats, consacrée en droit de procédure cantonal à l'<ref-law>/GE, dans la fixation de ses charges incompressibles. Il invoque également l'arbitraire dans l'application du principe de disposition; pour les mêmes raisons qu'invoquées au sujet du revenu hypothétique imputable à son épouse, son grief est, à cet égard, irrecevable (cf. supra consid. 5.1).
9.1 Il reproche à la cour cantonale d'avoir refusé de prendre en considération dans ses charges les postes suivants, que l'intimée avait, selon lui, pourtant admis dans sa réponse à l'appel du 14 septembre 2009: l'assurance-maladie complémentaire par 186 fr. 10, les frais médicaux non couverts par 85 fr. 95, l'assurance-vie des enfants par 62 fr. 65, les frais de transports par 250 fr., le 3ème pilier A par 531 fr. et l'assurance bâtiment par 76 fr.
9.2 Comme il a été tranché ci-dessus (cf. supra consid. 4.3), le montant de 70 fr. correspondant, selon les constatations de l'arrêt du 12 mars 2010, à un abonnement aux transports publics doit être ajouté aux charges du recourant. Pour le reste, dans son premier arrêt du 12 mars 2010, la cour cantonale n'avait retenu aucun des postes précités, précisant qu'il convenait de s'en tenir aux charges usuelles nécessaires. Dans son premier recours en matière civile, le recourant s'était déjà plaint de ce que ces postes avaient été ignorés. Or, le Tribunal fédéral a rejeté ce grief dans son arrêt de renvoi (cf. arrêt 5A_290/2010 du 28 octobre 2010 consid. 7). Partant, le recourant ne peut plus l'invoquer dans le présent recours; le grief est irrecevable (cf. supra consid. 2.1).
10. S'agissant du montant de 1'880 fr., provenant de sa fortune immobilière, que la cour cantonale lui a imputé à titre de revenu supplémentaire, le recourant reproche tout d'abord à cette dernière d'avoir violé son droit d'être entendu, consacré à l'art. 29 al. 2 Cst., en ne lui donnant l'occasion de se déterminer ni sur les faits ayant conduit à lui imputer ce montant, ni sur l'argumentation juridique que ceux-ci impliquent.
10.1 Le droit d'être entendu, tel qu'il est garanti à l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.2; <ref-ruling> consid. 2b; <ref-ruling> consid. 3a et les arrêts cités). Selon la jurisprudence, le juge n'a pas, en revanche, à soumettre à la discussion des parties les principes juridiques sur lesquels il va fonder son jugement (<ref-ruling> consid. 2b, 19 consid. 2c). En vertu de la règle jura novit curia, il n'est en principe pas lié par les moyens de droit développés par les parties. Le juge peut ainsi appliquer d'office, sans avoir à attirer préalablement l'attention des parties sur l'existence de tel ou tel problème de droit, une autre disposition de droit matériel pour allouer les conclusions du demandeur (arrêt 4P.277/1998 du 22 février 1999, publié in RSDIE 2000 575, consid. 3d; arrêt 4P.7/1998 du 17 juillet 1998 consid. 2a/bb). Le juge n'a pas non plus à aviser spécialement une partie du caractère décisif d'un élément de fait sur lequel il s'apprête à fonder sa décision, pour autant que celui-ci ait été allégué et prouvé selon les règles (<ref-ruling> consid. 2b; 19 consid. 2c; <ref-ruling> consid. 4c). La jurisprudence aménage toutefois une exception au principe jura novit curia lorsque le juge s'apprête à fonder sa décision sur une norme ou un principe juridique non évoqué dans la procédure antérieure et dont aucune des parties en présence ne s'est prévalue et ne pouvait supputer la pertinence in casu (arrêt 5A_795/2009 du 10 mars 2010 consid. 3.1, non publié in <ref-ruling>).
10.2 En l'espèce, la fixation d'une contribution d'entretien en fonction de la fortune n'a rien d'imprévisible. Tout débirentier dont le revenu effectif est, comme en l'espèce, insuffisant à couvrir les besoins du crédirentier doit s'attendre à ce que le juge se penche sur cette question. Pour ce qui est des faits, l'autorité cantonale s'est fondée sur la composition de la fortune immobilière du recourant, puis a évalué à hauteur de quel montant ce dernier pouvait l'hypothéquer. Le recourant n'explique pas sur lequel de ces faits il n'aurait pas pu se déterminer avant que la cour cantonale ne statue. Ainsi, le grief doit être rejeté.
11. En lien avec le montant de 1'880 fr., provenant de sa fortune immobilière, que la cour cantonale lui a imputé à titre de revenu supplémentaire, le recourant se plaint de la violation de l'<ref-law>. Il soutient que, comme il a acquis la villa en cause par succession, on ne peut attendre de lui qu'il hypothèque cet immeuble. Le raisonnement de la cour revient à lui imposer de s'endetter, ce qu'on ne peut pas raisonnablement attendre de lui. Par ailleurs, vu que les parties savaient déjà au moment du divorce que ce bien immobilier lui reviendrait à terme, on ne peut, selon lui, en tenir compte lors de la modification du jugement de divorce.
11.1
11.1.1 Selon l'<ref-law>, la modification de la contribution d'entretien après divorce suppose que des faits nouveaux importants et durables interviennent dans la situation financière d'une des parties, qui commandent une réglementation différente. La procédure de modification n'a en effet pas pour but de corriger le premier jugement, mais de l'adapter aux circonstances nouvelles. Le fait revêt un caractère nouveau lorsqu'il n'a pas été pris en considération pour fixer la contribution d'entretien dans le jugement de divorce. Il n'est donc pas décisif qu'il ait été imprévisible à ce moment-là. On présume néanmoins que la contribution d'entretien a été fixée en tenant compte des modifications prévisibles, soit celles qui, bien que futures, sont déjà certaines ou fort probables (ATF 131 IIII 189 consid. 2.7.4; arrêt 5A_93/2011 du 13 septembre 2011 consid. 6.1; 5A_845/2010 du 12 avril 2011 consid. 4.1). Une fois la condition du fait nouveau remplie, le juge doit alors fixer la nouvelle contribution d'entretien, sur la base des critères de l'<ref-law>, en faisant usage de son pouvoir d'appréciation (<ref-law>; <ref-ruling> consid. 3a; arrêts 5A_241/2010 du 9 novembre 2010 consid. 4; 5C.112/2005 du 4 août 2005 consid. 1, publié in FamPra.ch 2006 149), après avoir actualisé tous les éléments pris en compte pour le calcul dans le jugement précédent. Pour que le juge puisse procéder à cette actualisation, il n'est pas nécessaire que la modification survenue dans ces autres éléments constitue également un fait nouveau, au sens de l'<ref-law> (cf. dans ce sens au sujet de la modification de la contribution d'entretien due à un enfant, <ref-ruling> consid. 4.1.2).
11.1.2 Lorsqu'il fixe le montant et la durée de la contribution d'entretien après divorce, le juge doit tenir compte des critères énumérés non exhaustivement à l'<ref-law>, en particulier de la fortune des époux. Si les revenus (du travail et de la fortune) des époux suffisent à leur entretien, la substance de la fortune n'est normalement pas prise en considération (<ref-ruling> consid. 4.2.1.1; arrêt 5A_507/2011 du 31 janvier 2012 consid. 4.4). Mais, dans le cas contraire, rien ne s'oppose à ce que l'entretien soit assuré par la fortune, le cas échéant même par les biens propres, la loi elle-même plaçant formellement les revenus et la fortune sur un pied d'égalité (<ref-law>; <ref-ruling> consid. 3.3 et les références citées). Ainsi, la jurisprudence a déjà admis qu'on peut exiger du débirentier qui n'a pas d'activité lucrative et dont le revenu de la fortune ne permet pas de couvrir l'entretien du couple, d'entamer la substance de son imposante fortune pour assurer à son épouse la couverture du minimum vital élargi (arrêt 5A_14/2008 du 28 mai 2008 consid. 5, publié in FamPra.ch 2009 206; cf. aussi arrêt 5P.472/2006 du 15 janvier 2007 consid. 3.2, publié in FamPra.ch 2007 396).
11.1.3 La même règle doit, a fortiori, valoir lors de la modification de la contribution d'entretien au sens de l'<ref-law>. Dès lors, si les revenus du travail et de la fortune ne suffisent plus pour maintenir le train de vie auquel chaque époux pouvait prétendre selon le jugement de divorce, le juge peut imposer au débirentier d'utiliser la substance de sa fortune pour continuer à servir la contribution à laquelle il a précédemment été condamné, même si les époux n'utilisaient pas cette fortune pour leur entretien avant la séparation.
11.2 En l'espèce, la cour n'a pas abusé de son pouvoir d'appréciation en jugeant qu'on peut raisonnablement imposer au recourant de mettre en gage son immeuble à hauteur de 200'000 fr. durant six ans pour verser ainsi une contribution d'entretien à l'intimée permettant à cette dernière de couvrir son minimum vital LP et ses charges strictement nécessaires. Même si, de la sorte, l'intimée bénéficie d'un bien dont le recourant n'était pas propriétaire au moment du divorce, cette solution se justifie en procédure de modification du jugement de divorce; la cour cantonale était en droit de tenir compte de cet élément de fortune nouvellement acquis pour compenser la diminution des revenus du recourant. En se contentant de soutenir de manière toute générale qu'on ne peut pas lui imposer de s'endetter, le recourant ne démontre pas que la cour cantonale a abusé de son pouvoir d'appréciation en estimant qu'en hypothéquant son bien à hauteur de 200'000 fr., il pouvait supporter les intérêts de cette dette ainsi que l'amortissement (usuel), jusqu'en 2014. Le recourant ne peut pas non plus être suivi lorsqu'il semble prétendre que, son droit futur à la succession étant déjà connu au moment du jugement de divorce, on ne pourrait pas en tenir compte dans la procédure en modification. A l'époque du divorce, les revenus du recourant étaient plus importants et ses charges moindres qu'actuellement; le recourant était donc en mesure de verser une pension à l'intimée grâce à ses seuls revenus, sans qu'il y eût lieu de prendre sa fortune en considération. Le grief doit donc être rejeté.
12. S'en prenant encore au montant de 1'880 fr., le recourant se plaint ensuite de la violation de l'art. 9 Cst. dans l'application de la maxime des débats, consacrée à l'art. 126 aLPC/GE. Il soutient que la cour cantonale a violé cette maxime en lui imputant un montant tiré de sa fortune alors que l'intimée n'a ni allégué ni démontré qu'il était possible pour lui de retirer 2'777 fr. en hypothéquant sa villa.
12.1 Dans un procès soumis à la maxime des débats, s'il incombe aux parties d'alléguer et de prouver les fait justifiant leurs conclusions, il appartient en revanche au juge, qui applique le droit d'office, de rechercher la règle de droit matériel abstraite applicable à ces faits et d'en tirer les conséquences juridiques sur la prétention réclamée par le demandeur; à cet égard, il n'est pas limité par l'argumentation des parties et peut se fonder sur tous les éléments de fait qui se trouvent dans le cadre du procès, peu importe la partie qui les a allégués et prouvés (cf. dans ce sens, arrêt 5A_413/2009 du 2 février 2010 consid. 6, non publié in <ref-ruling>; 4A_491/2010 du 30 août 2011 consid. 2.3, non publié in <ref-ruling>; FABIENNE HOHL, Procédure civile, tome I, 2001, n°874 et 877).
12.2 En l'espèce, il appartenait à l'autorité cantonale d'examiner d'office si on pouvait attendre du recourant qu'il mette à contribution sa fortune, même si l'intimée n'avait pas soulevé cette argumentation juridique pour fonder sa prétention. Contrairement à ce que semble croire le recourant, ce faisant, elle a appliqué une règle de droit. Par ailleurs, l'autorité cantonale avait tous les éléments pour déterminer, en fait, si le recourant avait la possibilité effective de mettre à contribution sa fortune, ainsi que le montant qu'il pouvait en tirer. En effet, il ressortait du dossier que ce dernier était propriétaire de deux villas, dont l'une non hypothéquée, de 115 m2, sise sur une parcelle de 2'578 m2 à Y._, dont la valeur fiscale était de 1'260'000 fr. Contrairement à ce que soutient le recourant, la maxime des débats n'imposait pas à l'intimée d'alléguer et de démontrer le montant de 1'880 fr.; il suffisait que les faits permettant d'établir ce montant fussent établis en procédure. Le grief de l'art. 9 Cst. doit donc être rejeté.
13. Pour ce qui est des revenus du recourant, il sied en outre de préciser que la cour cantonale s'est manifestement trompée (<ref-law>) en fixant les rentes totales nettes perçues par ce dernier à 6'519 fr. 65, dont un "pont AVS" de 1'076 fr. (cf. arrêt attaqué p. 4). En effet, il ressort du précédent arrêt cantonal du 12 mars 2010, sans que cela ait été contesté devant le Tribunal fédéral, que ce pont a augmenté à 1'100 fr. dès 2009 et que les rentes totales nettes du recourant sont de 6'543 fr. 65 (cf. arrêt du 12 mars 2010 p. 5).
14. Dans un dernier grief, le recourant se plaint encore une fois de la violation de l'<ref-law>, reprochant à l'autorité cantonale la méthode qu'elle a appliquée pour réduire la contribution d'entretien.
14.1 En substance, il soutient qu'on peut déduire de l'arrêt 5C.197/2003 du 30 avril 2004 que, pour fixer la nouvelle pension, il faudrait comparer le disponible qu'avait le débirentier au moment du jugement de divorce avec celui qui est le sien au moment du jugement de modification, fixer en pourcentage la diminution de ce disponible, puis réduire la contribution d'entretien en fonction de ce pourcentage.
14.2 Comme dit précédemment, lorsque le juge fixe à nouveau la contribution d'entretien au sens de l'<ref-law>, il fait usage de son pouvoir d'appréciation, comme lorsqu'il procède selon l'<ref-law> (cf. supra consid. 11.1.1). Dans l'arrêt 5C.197/2003, le Tribunal fédéral n'en a pas jugé autrement et n'a imposé aucune méthode schématique pour réduire la contribution d'entretien. Il a seulement relevé qu'on pouvait déduire de l'<ref-ruling> consid. 8 que la proportion entre la capacité financière du débirentier et la contribution d'entretien prévalant au moment du jugement de divorce doit être maintenue lorsqu'un des époux s'est obligé envers l'autre à verser une rente plus élevée que celle que lui aurait imposée la loi, notamment dans le but d'accélérer la procédure du divorce en obtenant un accord (consid. 4.1 de l'arrêt précité).
Partant, le grief du recourant, qui entend faire réduire la contribution d'entretien à hauteur d'un pourcentage déterminé en fonction de la diminution de son disponible doit être rejeté.
15. En tenant compte de la rectification du montant des rentes du recourant (cf. supra consid. 13) et de l'ajout, dans ses charges, de frais de transport de 70 fr. (cf. supra consid. 4.3), les revenus du recourant et de son épouse se montent au total à 9'851 fr. 65 (6'543 fr. 65 + 900 fr. + 1'880 fr. + 528 fr.) et leurs charges à 5'732 fr. 30 (5'662 fr. 30 + 70 fr.) jusqu'à fin 2009, puis à 5'912 fr. 30 (5'842 fr. 30 + 70 fr.). Le disponible du recourant est donc de 4'119 fr. 35 jusqu'à fin 2009, puis de 3'939 fr. 35. Quant à l'intimée, elle subit, selon les constatations de l'arrêt attaqué, un découvert de 3'370 fr. 10 par mois jusqu'au 31 décembre 2009, puis de 3'490 fr. 10 par mois. En vertu de l'interdiction de la reformatio in pejus, elle ne peut pas obtenir un montant supérieur à 3'000 fr., correspondant aux conclusions qu'elle a prises dans son recours en matière civile dans la cause 5A_290/2010 (cf. supra consid. 4.3). Partant, la contribution d'entretien sera fixée à ce montant.
16. En conclusion, le recours est partiellement admis, dans la mesure de sa recevabilité, l'arrêt attaqué annulé en conséquence et réformé dans ce sens que la contribution d'entretien est réduite à 3'000 fr. par mois du 22 mai 2008 au 30 avril 2014. Au vu du sort du litige et de la qualité des parties, il n'y a pas lieu de modifier la compensation des dépens des instances cantonales. Les frais judiciaires de l'instance fédérale, arrêtés à 3'000 fr., sont répartis entre les parties à raison de 2'500 fr. à charge du recourant et de 500 fr. à charge de l'intimée (<ref-law>). Une indemnité de 2'500 fr., à payer à titre de dépens à l'intimée, est mise à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, dans la mesure de sa recevabilité et l'arrêt attaqué est réformé en ce sens que A._ est condamné à verser à dame A._ une contribution d'entretien de 3'000 fr. par mois du 22 mai 2008 au 30 avril 2014.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont répartis entre les parties à raison de 2'500 fr. à charge du recourant et de 500 fr. à charge de l'intimée.
3. Une indemnité de 2'500 fr., à payer à titre de dépens à l'intimée, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 19 mars 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Achtari