Faits:
A. Le 14 décembre 2007, X._ a conclu un contrat de courtage immobilier avec les sociétés A._ SA et B._ SA, dont la fusion donnera naissance à Y._ SA en mai 2010 (ci-après: Y._ ou la courtière). Il confiait à ces sociétés le mandat non exclusif de lui indiquer un acquéreur pour l'immeuble sis à ..., ou de lui servir d'intermédiaire pour la négociation de cette vente à un prix indicatif de 3'950'000 fr. Selon l'art. 5 du contrat, X._ s'engageait à verser, dès la conclusion du contrat de vente, une commission de 3% calculée sur le prix de vente accepté plus la TVA de 7,6%. Lors de la signature du contrat, le mandant a expliqué qu'il était en discussion avec des acheteurs potentiels, dont l'un formulait une offre à 3'750'000 fr. sur laquelle il se déterminerait le 7 janvier 2008; il demandait à son interlocuteur chez Y._, D._, de voir s'il pouvait «faire mieux» avant cette date.
La courtière a offert l'immeuble à la vente sur différents sites Internet. En outre, elle a envoyé à une quinzaine de personnes susceptibles d'être intéressées un dossier de plusieurs pages, comportant des photographies de l'immeuble, mais sans indication de son adresse exacte. E._, conseiller fiscal de X._, a reçu ce document. Selon ses déclarations, il a été surpris de recevoir un dossier de la part de la courtière, dont il n'était pas client. Interpellé par téléphone par D._, E._ a manifesté de l'intérêt pour l'immeuble proposé à la vente et une visite a été prévue. Cependant, lorsqu'il a eu connaissance de l'adresse exacte de l'immeuble en cause, il a réalisé que X._ en était le propriétaire, ce qui l'a conduit à ne pas donner suite à l'offre et à renoncer à la visite des lieux. Par ailleurs, E._ a déclaré à l'employé de Y._ qui avait proposé son nom "qu'il ne fallait pas imaginer que c'était par lui qu'il avait appris que l'immeuble de ... était en vente, mais qu'il le savait déjà."
Après les contacts avec Y._, E._ a informé pour la première fois X._ de son intérêt pour l'acquisition de l'immeuble mis en vente; il lui a précisé toutefois que le fait d'articuler une offre lui posait un problème éthique et qu'il y renonçait.
Le 18 décembre 2007, la courtière a avisé X._ que trois personnes avaient pris contact pour visiter l'immeuble, dont E._ et F._, et que seul ce dernier avait finalement vu les lieux.
Le 21 décembre 2007, G._, employée de Y._, a envoyé à X._ un courrier électronique qui comportait les propos suivants:
"(...)
- M. F._ nous a fait une proposition d'achat pour votre immeuble au prix de CHF 3'850'000.-, sous réserve de l'accord définitif de ses conseillers financiers.
- Nous avons pris bonne note que vous souhaitez obtenir un prix net de CHF 3'800'000.- et ajustons notre commission en ce sens.
- Comme convenu, nous avons donc confirmé à M. F._ que vous acceptez son offre d'achat au prix de CHF 3'850'000.- avec signature de la vente définitive pour le 15 janvier 2007 (recte: 2008).
(...)"
F._ a retiré son offre quelques jours avant le 15 janvier 2008. Par la suite, la courtière n'a plus eu de client intéressé à l'acquisition de l'immeuble.
Lorsqu'il est rentré de vacances en janvier 2008, E._ a appris par X._ que la vente de l'immeuble n'avait pas abouti. Comme les pourparlers avec les autres acheteurs potentiels avaient échoué, il s'est senti alors «plus libre», selon ses termes, de formuler une offre d'achat.
En date du 4 février 2008, X._ a informé la courtière que E._ avait acquis l'immeuble pour 3'800'000 fr.
Mis en demeure de verser jusqu'au 5 mars 2008 une commission de 127'000 fr., calculée sur la base d'un prix de vente de 3'950'000 fr., X._ a contesté devoir quoi que ce soit à la courtière. En outre, il a résilié avec effet immédiat un autre contrat de courtage passé avec Y._, portant sur deux autres immeubles sis à ....
B. Par demande du 6 mai 2009, A._ SA et B._ SA ont assigné X._ en paiement de 127'506 fr. avec intérêts à 5% dès le 18 février 2008.
X._ s'est opposé à la demande. A titre subsidiaire, pour le cas où le droit à une commission serait reconnu, il concluait à sa fixation à un montant de 50'000 fr.
Par jugement du 7 octobre 2010, le Tribunal de première instance du canton de Genève a débouté Y._ SA de ses conclusions en paiement.
Statuant le 15 avril 2011 sur appel de Y._ SA, la Chambre civile de la Cour de justice du canton de Genève a confirmé le jugement de première instance.
Y._ SA a interjeté un recours en matière civile (cause 4A_337/2011). Par arrêt du 15 novembre 2011, le Tribunal fédéral a admis le recours, annulé l'arrêt du 15 avril 2011 et renvoyé la cause à la cour cantonale pour nouvelle décision. Contrairement aux instances cantonales, la cour de céans a jugé que la conclusion du contrat de vente entre X._ et E._ se trouvait dans un rapport de causalité avec l'activité de la courtière. D'une part, X._ avait appris que E._ s'intéressait à l'affaire grâce à l'intervention de la courtière; d'autre part, c'était sur la base de cette indication que les futures parties au contrat de vente étaient entrées en relation et avaient conclu le marché. Les conditions du droit au salaire de Y._ SA étaient ainsi réalisées. Comme la cour de céans ne disposait pas d'éléments suffisants pour arrêter le montant de la commission, l'affaire a été renvoyée à la cour cantonale afin qu'elle se prononce sur ce point.
Par arrêt du 23 mars 2012, la Chambre civile de la Cour de justice du canton de Genève a condamné X._ à payer à Y._ SA la somme de 122'664 fr. avec intérêts à 5% dès le 16 mars 2008. Ce montant correspond à 3% du prix de vente de 3'800'000 fr. (114'000 fr.), plus la TVA de 7,6% (8'664 fr.).
C. X._ interjette un recours en matière civile. A titre principal, il demande au Tribunal fédéral d'annuler l'arrêt cantonal, puis de lui donner acte de ce qu'il offre de verser à Y._ SA, pour solde de tout compte, le montant de 50'000 fr. avec intérêts à 5% dès le 31 mars 2008. Il conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants du Tribunal fédéral.
Dans sa réponse, Y._ SA propose le rejet du recours. Après que X._ s'est déterminé sur cette réponse, l'intimée a déposé d'ultimes observations.
Considérant en droit:
1. 1.1 Le recours est interjeté par la partie qui n'a pas obtenu que la commission de courtage soit fixée à 50'000 fr. seulement, comme elle le demandait dans ses conclusions devant la Cour de justice après l'arrêt de renvoi (cf. art. 76 al. 1 LTF). Au surplus, il est dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse, s'élevant à 77'506 fr. (art. 51 al. 1 let. a LTF), atteint le seuil requis par l'art. 74 al. 1 let. b LTF. Déposé dans le délai (art. 46 al. 1 let. a et art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi, le recours est en principe recevable.
1.2 Un arrêt de renvoi lie tant l'autorité cantonale à laquelle la cause est renvoyée que le Tribunal fédéral ultérieurement saisi d'un recours contre la nouvelle décision de l'autorité cantonale (cf. ATF 135 III 334 consid. 2). Quant aux parties, elles ne peuvent pas faire valoir, dans un recours contre la nouvelle décision cantonale, des moyens que le Tribunal fédéral avait expressément rejetés dans l'arrêt de renvoi (cf. ATF 133 III 201 consid. 4.2) ou qu'il n'avait pas eu à examiner, faute pour les parties de les avoir invoqués dans la première procédure de recours, alors qu'elles pouvaient - et devaient - le faire (cf. ATF 111 II 94 consid. 2).
Dans ces limites, un recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF, y compris les droits constitutionnels (ATF 134 III 379 consid. 1.2). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
Par ailleurs, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2. Dans un premier moyen, le recourant se plaint d'une violation des art. 18 et 413 CO. Selon lui, la cour cantonale ne pouvait pas arrêter le salaire de la courtière à un montant supérieur à 50'000 fr. Il fait valoir que, interprété selon le principe de la confiance, le courriel de l'intimée du 21 décembre 2007 signifiait que la courtière acceptait de compléter l'art. 5 du contrat de courtage en ajoutant une condition supplémentaire à sa rémunération, à savoir de réduire, le cas échéant, le montant de sa commission afin de permettre au recourant d'encaisser un montant net de 3'800'000 fr.
2.1 Interprétant le courriel du 21 décembre 2007, la cour cantonale est arrivée à la conclusion que l'art. 5 du contrat de courtage n'avait pas été modifié en dehors du cas d'une vente aux époux F._. Selon l'arrêt attaqué, l'intimée a accepté de réduire sa rémunération dans le cadre des négociations entre le recourant et les époux F._ et rien ne permet de retenir que cette réduction s'inscrivait dans un cadre général; il s'agissait au contraire d'un geste commercial destiné à favoriser la vente entre le recourant et les époux F._, tous clients de la courtière.
La Cour de justice a posé les principes en matière d'interprétation subjective et objective des déclarations de volonté, mais il ne ressort pas clairement de l'arrêt si, dans le cas particulier, elle a établi, en fait, la volonté réelle des parties ou si elle s'est fondée sur la théorie de la confiance. La question peut rester ouverte dans la mesure où, comme on le verra, le résultat auquel parvient l'autorité cantonale est conforme à l'interprétation objective, selon le principe de la confiance.
2.2 En interprétant les déclarations des parties et les comportements selon la théorie de la confiance, le juge recherche comment une déclaration ou une attitude pouvait être comprise de bonne foi en fonction de l'ensemble des circonstances; le principe de la confiance permet ainsi d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même s'il ne correspond pas à sa volonté intime. L'application du principe de la confiance est une question de droit que le Tribunal fédéral peut examiner librement (art. 106 al. 1 LTF) (ATF 136 III 186 consid. 3.2.1 p. 188; 135 III 295 consid. 5 p. 302). Cependant, pour trancher cette question, il doit se fonder sur le contenu des manifestations de volonté et sur les circonstances, dont la constatation relève du fait (ATF 135 III 410 consid. 3.2 p. 413).
2.3 En l'espèce, les parties étaient liées par un contrat de courtage d'indication et de négociation, daté du 14 décembre 2007. Le prix de vente, indicatif, était fixé à 3'950'000 fr. Le montant de la commission ne variait pas selon que l'intimée agisse comme courtier indicateur ou négociateur; il correspondait à 3% du prix de vente accepté plus la TVA de 7,6%. Le courriel litigieux est intervenu une semaine plus tard, dans le cadre de la négociation que l'intimée menait pour le recourant avec F._. Il résulte de ce document que les éventuelles parties au contrat de vente s'accordent sur un prix de vente de 3'850'000 fr.; comme elle a pris note du souhait du vendeur d'obtenir un montant net de 3'800'000 fr., l'intimée déclare par ailleurs qu'elle réduit sa commission à 50'000 fr. Ainsi, la courtière a obtenu une offre d'achat de 3'850'000 fr. en négociant avec son client, F._; comme elle sait que le vendeur souhaite recevoir un montant net de 3'800'000 fr., la courtière négociatrice propose de réduire sa commission à 50'000 fr., ce qui lui permet d'obtenir le consentement du recourant à l'offre d'achat présentée. A l'évidence, l'offre de réduction de la commission s'inscrit exclusivement dans le cadre de la négociation menée par la courtière entre le recourant et F._ et tend à favoriser la vente à ce dernier. Le recourant, destinataire du message du 21 décembre 2007, devait, de bonne foi, comprendre la déclaration litigieuse comme étant subordonnée à la conclusion de la vente à F._ au prix de 3'850'000 fr., et non comme une offre de réduire le salaire convenu à 50'000 fr. en toute hypothèse. Au surplus, le recourant soutient que le contrat de courtage aurait été modifié en ce sens que la commission devait être réduite de manière à lui assurer un gain net de 3'800'000 fr. Il suffit de constater à cet égard que pareille thèse se heurte aux propres conclusions du recourant, qui accepte à présent de verser une commission de 50'000 fr. alors que la vente à E._ ne lui a pas rapporté plus de 3'800'000 fr.
En conclusion, le grief tiré d'une violation des art. 18 et 413 CO ne peut être qu'écarté.
3. Dans un second moyen, le recourant reproche à la cour cantonale d'avoir violé l'art. 417 CO en n'examinant pas si le salaire de la courtière était excessif et devait être réduit le cas échéant. A le suivre, la commission de 122'664 fr. serait inéquitable et choquante dans les circonstances particulières du cas. En effet, l'intimée gagnerait, pour la maigre activité déployée auprès de E._, un salaire représentant plus du double de celui dont elle était prête à se satisfaire en cas de vente de l'immeuble aux époux F._, en faveur desquels elle avait exercé une activité notablement supérieure.
3.1 Lorsqu'un salaire excessif a été stipulé soit pour avoir indiqué une occasion de conclure un contrat individuel de travail ou une vente d'immeuble, soit pour avoir négocié l'un de ces contrats, il peut être, à la requête du débiteur, équitablement réduit par le juge (art. 417 CO).
Déterminer si le salaire est excessif ou non suppose de tenir compte de l'ensemble des circonstances du cas d'espèce (cf. ATF 117 II 286 consid. 5b p. 290 in fine; 83 II 151 consid. 4c p. 154 in fine). Étant donné le caractère aléatoire du contrat de courtage, il faut partir du principe que le salaire rémunère le succès du courtier, et non l'étendue de l'activité déployée par celui-ci (FRANÇOIS RAYROUX, in Commentaire romand, Code des obligations I, 2e éd. 2012, n° 8 ad art. 417 CO; CHRISTIAN MARQUIS, Le contrat de courtage immobilier et le salaire du courtier, 1993, p. 329). Le juge effectuera une comparaison avec les commissions versées habituellement (ATF 117 II 286 consid. 5b p. 290 et les arrêts cités) dans la région considérée (ATF 112 II 459 consid. 3 p. 460; 111 II 366 consid. 3c p. 370). En matière immobilière, la commission correspond en règle générale à un pourcentage du prix de vente obtenu. Le taux usuel peut varier en fonction du prix qui sert de référence; il diminue alors au fur et à mesure que le prix de vente augmente. Une commission peut dépasser légèrement le tarif ou le taux habituel sans pour autant être excessive (LUC THÉVENOZ/AUDE PEYROT, Le contrat de courtage immobilier, in Bénédict Foëx et Michel Hottelier (éd.), Servitudes, droit de voisinage, responsabilités du propriétaire immobilier, 2007, p. 136). En effet, dans la mesure où il limite la liberté contractuelle des parties, l'art. 417 CO doit être interprété de manière restrictive (ATF 106 II 56 consid. 2a p. 57).
Dans la jurisprudence, une commission de 3% calculée sur un prix de vente de 1'695'000 fr. n'a pas été jugée excessive (arrêt 4C.121/2005 du 5 juillet 2005 consid. 4.2.2). De même, le Tribunal fédéral n'a pas réduit un salaire de 492'000 fr. correspondant à un taux de 3% du prix de vente de diverses parcelles qui se montait au total à 16'400'000 fr., même si cette rémunération se situait à la limite de ce qui était admissible en raison du prix élevé de la transaction (arrêt 4C.362/1999 du 22 mars 2000 consid. 4c). N'a pas non plus été considérée comme excessive une commission de 3,57% pour des ventes immobilières portant l'une sur 1'750'000 fr. (arrêt 4C.183/1998 du 16 juin 1999 consid. 4b) et l'autre sur 2'800'000 fr. (arrêt 4C.28/1995 du 1er octobre 1996 consid. 5b). Il a également été jugé qu'une commission fixée à 3% du prix de vente, correspondant au taux usuel, n'était pas trop élevée (ATF 117 II 286 consid. 5b p. 290). En revanche, un salaire fixé à 11% du prix de vente alors que le taux usuel était de l'ordre de 2% a été tenu pour manifestement excessif (ATF 83 II 151 consid. 4c p. 153).
D'autres éléments que le taux usuel peuvent entrer en ligne de compte, comme le fait que le courtier ait présenté à l'acheteur une occasion unique correspondant parfaitement à l'objet recherché (ATF 90 II 92 consid. 11 p. 107) ou le fait que le courtier n'exerce pas à titre professionnel, si bien qu'il n'a pas à assumer des frais généraux et ne peut prétendre à une compensation pour les dépenses engagées dans des affaires qui ne se sont pas réalisées (ATF 83 II 151 consid. 4c p. 153).
La détermination du caractère excessif ou non du salaire du courtier relève du pouvoir d'appréciation du juge (art. 4 CC). En pareil cas, le Tribunal fédéral ne revoit qu'avec réserve la décision prise en dernière instance; il n'intervient que lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération; il sanctionne en outre les décisions rendues en vertu du pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (cf. ATF 135 III 121 consid. 2 p. 123 s.; 133 III 201 consid. 5.4 p. 211; 132 III 178 consid. 5.1 p. 183; 130 III 571 consid. 4.3 p. 576).
3.2 En l'espèce, quand bien même le mandant n'a pas invoqué expressément l'art. 417 CO dans la procédure cantonale, il y a bien eu requête du débiteur en réduction du salaire du courtier, au sens non formaliste prescrit par la jurisprudence (ATF 111 II 366 consid. 3a p. 369; 83 II 151 consid. 4a p. 152). En effet, les conclusions du défendeur tendaient à ne pas payer la commission, subsidiairement à la fixer à un montant moins élevé que celui résultant du contrat de courtage.
La cour cantonale n'a pas réduit le salaire de l'intimée. Sur le vu des éléments ressortant de l'arrêt attaqué, elle n'a pas violé l'art. 417 CO en fixant la commission de courtage à 122'664 fr. Le taux de 3%, même appliqué à un prix de vente de 3'800'000 fr., n'apparaît pas excessif au regard de la jurisprudence précitée (cf. consid. 3.1 § 3 ci-dessus). Du reste, le recourant lui-même ne prétend pas que ce taux serait trop élevé en l'occurrence. Il fait valoir en revanche les efforts très restreints que l'intimée aurait déployés pour convaincre l'acheteur E._. Or, comme déjà relevé (consid. 3.1 § 2 ci-dessus), une telle circonstance n'est pas déterminante pour juger du caractère excessif ou non de la commission convenue, puisque celle-ci rémunère le succès du courtier, et non l'activité de ce dernier.
Il s'ensuit que la requête du mandant en réduction du salaire de la courtière est mal fondée.
4. Sur le vu de ce qui précède, le recours doit être rejeté.
En conséquence, les frais judiciaires seront mis à la charge du recourant (art. 66 al. 1 LTF). En outre, ce dernier versera des dépens à l'intimée (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 5'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 26 septembre 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Godat Zimmermann