Faits:
A. X._ exploite une entreprise individuelle de travaux de second oeuvre dans le bâtiment, sous le nom de A._. Dans le cadre des travaux de rénovation de l'hôtel B._, à ..., il a confié à Y._ SA, en sous-traitance, des travaux de carrelage dans les salles de bains.
Le 27 août 2003, Y._ SA a adressé à A._ un devis d'un montant total de 191'686 fr.70 TTC, soit 178'147 fr.50 HT correspondant à un prix unitaire de 2'375 fr. pour 75 salles de bains. X._ a corrigé à la main deux prix unitaires figurant sur ce devis, ramenant le poste "pose de carrelage et joint + les faïences" de 48 fr. à 43 fr. et celui "F. P. silicone" de 16 fr. à 14 fr.; il a également inscrit un rabais de 5% et un escompte de 3%.
Par courrier du 21 septembre 2003, Y._ SA a remis à A._ un avis de situation, réclamant le paiement de 76'674 fr. correspondant à 40% du devis du 27 août 2003. X._ a considéré que Y._ SA avait surestimé les travaux exécutés; en conséquence, il a payé un acompte de 55'779 fr.84 seulement.
Le 25 novembre 2003, Y._ SA a adressé à A._ une facture finale d'un montant de 172'993 fr.90 TTC, portant sur les travaux effectués dans 70 salles de bains.
Par lettre du 8 décembre 2003, X._ a indiqué à Y._ SA que la société propriétaire de l'hôtel mettait en cause la qualité du travail exécuté dans certaines salles de bains; un délai au 19 décembre 2003 était imparti à l'entrepreneur pour remédier à cette situation. Par ailleurs, X._ relevait que le nombre de chambres, les surfaces et les prix unitaires figurant dans la facture finale ne correspondaient pas au devis du 27 août 2003; il invitait Y._ SA à prendre contact avec lui afin de clarifier la situation. Cette démarche est demeurée vaine.
Par courrier du 12 mars 2004, X._ a transmis à Y._ SA un décompte établi par lui-même. Selon ce document, il reconnaissait devoir à l'entreprise la somme de 45'392 fr.56 TTC; d'un total brut de 118'856 fr.08 HT, il convenait de déduire les montants de 16'653 fr.48 (retouches exécutées par A._ et réparation des malfaçons), 8'171 fr.21 (rabais d'adjudication de 8%) et 55'779 fr.84 (acompte déjà versé).
Le 10 mai 2004, Y._ SA a adressé à A._ une nouvelle facture, d'un montant total de 138'128 fr.55 HT. Par rapport à la facture du 25 novembre 2003, le poste "coupe de faïences autour de portes et fenêtres" par 7'700 fr. était supprimé; les surfaces et mètres linéaires étaient réduits, tout en restant plus importants que ceux résultant du décompte de X._; enfin, étaient déduits de la facture les montants de 2'275 fr. (retouches effectuées par A._), 680 fr. (benne pour évacuation) et 3'000 fr. (en raison de malfaçons dans la pose des carrelages). X._ a refusé de payer cette facture, qu'il a retournée à Y._ SA.
Le 9 octobre 2008, Y._ SA a cédé à Y._ Sàrl une créance de 102'826 fr.51 envers X._.
Le 16 décembre 2008, Y._ Sàrl a fait notifier à X._ un commandement de payer le montant de 102'826 fr.50. Le poursuivi a formé opposition.
B. Par acte déposé le 21 octobre 2009, Y._ Sàrl a assigné X._ en paiement de 102'826 fr.51, plus intérêts à 5% dès le 10 juin 2004; elle concluait également au prononcé de la mainlevée définitive de l'opposition.
X._ a reconnu devoir à Y._ Sàrl uniquement la somme de 45'392 fr.56, plus intérêts à 5% dès la date moyenne du 1er janvier 2004. Il a déposé une demande reconventionnelle tendant à ce qu'il soit dit et constaté que Y._ Sàrl lui devait un montant de 45'000 fr. avec intérêts à 5% dès la date moyenne du 1er janvier 2004, que les montants de 45'392 fr.56 et 45'000 fr. étaient compensés et qu'il devait à Y._ Sàrl le montant de 392 fr.56, qu'il avait payé par chèque du 8 mars 2010.
Par jugement du 7 septembre 2011, le Tribunal de première instance du canton de Genève a, sur demande principale, condamné X._ à verser à Y._ Sàrl la somme de 81'936 fr.15 avec intérêts à 5% dès le 10 mai 2004 et prononcé la mainlevée définitive de l'opposition. Il a rejeté la demande reconventionnelle.
Statuant le 27 avril 2012 sur appel de X._, la Chambre civile de la Cour de justice du canton de Genève a admis partiellement le recours et annulé le dispositif du jugement de première instance en tant qu'il concernait la demande principale; elle a ensuite condamné X._ à verser à Y._ Sàrl la somme de 61'134 fr.20 avec intérêts à 5% dès le 10 juin 2004 et prononcé la mainlevée définitive de l'opposition à hauteur de cette somme.
C. X._ interjette un recours en matière civile. Tant sur la demande principale que sur la demande reconventionnelle, il reprend les conclusions qu'il a formulées devant les instances cantonales. A titre subsidiaire, il demande le renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants du Tribunal fédéral.
Dans sa réponse, Y._ Sàrl propose le rejet du recours.
Pour sa part, la Cour de justice se réfère aux considérants de son arrêt.
Considérant en droit:
1. 1.1 Dans les affaires pécuniaires ne concernant ni le droit du travail ni le droit du bail à loyer, le recours en matière civile est recevable à condition que la valeur litigieuse s'élève à 30'000 fr. au moins (art. 74 al. 1 let. b LTF). Cette valeur est déterminée d'après les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF). Pour le calcul de la valeur litigieuse, le montant de la demande principale et celui de la demande reconventionnelle ne sont pas additionnés (art. 53 al. 1 LTF), de sorte que la recevabilité du recours en matière civile est en principe déterminée séparément pour chacune de ces actions.
Devant la Cour de justice, la valeur litigieuse de la demande principale s'élevait à 36'543 fr.59 (81'936 fr.15 - 45'392 fr.56). En effet, la demanderesse principale ne remettait pas en cause le montant de 81'936 fr.15 que le défendeur devait payer selon le jugement de première instance et l'appelant reconnaissait sa dette à hauteur de 45'392 fr.56. Le recours en matière civile est dès lors recevable ratione valoris en ce qui concerne la demande principale.
Dans sa demande reconventionnelle qui n'a jamais varié, le recourant réclame un montant de 45'000 fr., créance qu'il entend ensuite opposer en compensation à la dette reconnue de 45'392 fr.56. Contrairement à ce que le recourant prétend, il n'y a pas, dans un cas de ce genre, à appliquer la règle de l'excédent (cf. ATF 102 II 397 consid. 1a p. 398; JEAN-MAURICE FRÉSARD, in Commentaire de la LTF, 2009, n° 11 ad art. 53 LTF), puisque le montant de la créance opposée en compensation ne dépasse pas celui - reconnu - de la créance principale. Lorsque la créance opposée en compensation est inférieure à la créance reconnue, la valeur litigieuse de la demande reconventionnelle correspond au montant de la première créance (cf. JEAN-FRANÇOIS POUDRET, Commentaire de la loi fédérale d'organisation judiciaire, 1990, volume II, n° 2.3 ad art. 47 OJ, p. 255; cf. également HENRI DESCHENAUX/JEAN CASTELLA, La nouvelle procédure civile fribourgeoise, 1960, p. 44). Par conséquent, la valeur litigieuse de 30'000 fr. est atteinte également par la demande reconventionnelle.
Pour le surplus, interjeté par la partie qui a succombé dans ses conclusions (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), le recours est en principe recevable puisqu'il a été déposé dans le délai (art. 45 al. 1 et art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 137 II 313 consid. 1.4 p. 317 s.; 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 137 II 353 consid. 5.1 p. 356; 136 I 184 consid. 1.2 p. 187). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2. Le recourant et Y._ SA étaient liés par un contrat d'entreprise ayant pour objet des travaux de carrelage dans les salles de bains de l'hôtel B._. Les parties ne contestent pas que des prix unitaires ont été convenus; ceux-ci résultent du devis du 27 août 2003, dont deux postes ont été modifiés le lendemain par le recourant. La contestation porte sur le prix final de l'ouvrage. La cour cantonale l'a fixé, hors TVA, à 109'021 fr. selon le décompte suivant:
Montant total brut HT admis par le
recourant dans son décompte du
12 mars 2004 118'856 fr.08
Poste "préparation sol et mur, y compris
nettoyage" selon devis du 27 août 2003 5'600 fr.
Prix total brut HT des travaux 124'456 fr.08
Déductions pour défauts admises
par Y._ SA - 5'955 fr.
Sous-total intermédiaire 118'501 fr.08
Rabais d'adjudication de 8%
admis par Y._ SA - 9'480 fr.08
Sous-total HT 109'021 fr.
A ce montant, la Chambre civile a ajouté la TVA par 7,6%, puis déduit l'acompte versé et le montant du chèque du 8 mars 2010 pour aboutir à un solde à payer par le recourant de 61'134 fr.20.
2.1 Invoquant l'art. 9 Cst., le recourant se plaint d'une appréciation arbitraire des preuves en rapport avec deux postes de ce décompte.
D'une part, il reproche à la cour cantonale d'avoir retenu un prix de 5'600 fr. pour la préparation des sols et des murs, y compris le nettoyage, en se basant uniquement sur l'absence de contestation de ce poste après réception du devis du 27 août 2003 dans lequel il figurait; or, il résulterait de l'état de fait que la préparation des murs n'a pas été effectuée, ce qui a conduit à des défauts dans la pose du carrelage; il serait ainsi insoutenable d'inclure le prix de ces travaux dans la facture finale.
D'autre part, la cour cantonale aurait versé dans l'arbitraire en retenant que le recourant n'avait pas prouvé que le coût de la remise en état à la suite des malfaçons dans la pose du carrelage était supérieur à 5'955 fr. Les juges genevois auraient manifestement mal interprété l'une de ses déclarations en retenant que la réduction de prix alléguée en rapport avec ce défaut correspondait à l'augmentation de la facture de l'entreprise ayant posé les miroirs dans les salles de bains. Au surplus, les malfaçons des travaux réalisés par Y._ SA auraient induit des complications pour plusieurs corps de métiers, lesquels auraient passé plus de temps ou utilisé plus de matériaux que prévu; or, la preuve de tels coûts ne pourrait être apportée par pièce comptable.
2.1.1 Le Tribunal fédéral n'annule une décision pour arbitraire (art. 9 Cst.) que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Par ailleurs, il ne suffit pas qu'une autre solution soit concevable, voire préférable; encore faut-il que la décision apparaisse arbitraire dans son résultat (ATF 138 I 49 consid. 7.1 p. 51; 137 I 1 consid. 2.4 p. 5; 136 III 552 consid. 4.2 p. 560; 135 V 2 consid. 1.3 p. 4 s.).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 137 I 58 consid. 4.1.2 p. 62; 136 III 552 consid. 4.2 p. 560; 134 V 53 consid. 4.3 p. 62; 129 I 8 consid. 2.1 p. 9).
2.1.2 Sur le premier point, le recourant reconnaît lui-même qu'il a accepté le prix unitaire de 80 fr. par salle de bains prévu dans le devis pour le poste "préparation sol et mur y compris nettoyage", ce qui représente 5'600 fr. pour 70 salles de bains. Contrairement à ce qu'il prétend, il ne ressort pas de l'arrêt attaqué que ces travaux n'ont pas été effectués du tout. La cour cantonale a seulement relaté un courrier de la société propriétaire de l'hôtel, selon lequel la préparation des murs ne semble pas avoir été faite, ainsi que le témoignage de la représentante de cette société, laquelle affirmait que les murs n'avaient pas été suffisamment lissés. Ces éléments ne suffisent pas au demeurant pour établir que la préparation des murs n'a pas été exécutée correctement. Il s'ensuit qu'en retenant un montant de 5'600 fr. pour le poste susmentionné, la cour cantonale ne s'est pas livrée à une appréciation arbitraire des preuves.
2.1.3 Sur le second point, le recourant devait prouver le montant de la réduction de prix liée aux défauts de l'ouvrage. Il alléguait à cet égard que les malfaçons en rapport avec la pose des carrelages lui avaient causé des frais à hauteur de 16'653 fr.48, montant sur lequel Y._ SA admettait devoir 5'955 fr. Pour les 10'698 fr.48 restants, la cour cantonale a relevé que le recourant n'avait pas décrit de manière précise quels avaient été les frais subis, ni quelle entreprise avait été chargée des travaux, ni quelle avait été la nature des travaux de réfection nécessaires et qu'il n'avait produit aucune pièce comptable à l'appui de ses allégations ni indiqué d'offre de preuve; lors de son audition, le recourant avait seulement mentionné que l'entreprise en charge de la pose des miroirs dans les salles de bains avait dû caler ceux-ci, ce qui lui avait été facturé. A ce propos, la cour cantonale s'est bornée à relever que si les coûts allégués par le recourant (12 fr. pour 1'141,54 m2) se référaient à la pose des miroirs, cela signifiait que chaque salle de bains comportait 16,3 m2 en miroirs, ce qui était plus que douteux. On ne discerne aucun arbitraire dans cette constatation. Au surplus, faute d'allégations et de preuves correspondantes, la cour cantonale pouvait sans arbitraire tenir pour non établis des coûts de réfection supérieurs au montant admis par l'entrepreneur.
2.2 Le recourant invoque également une violation de l'art. 8 CC en rapport avec la réduction de prix liée aux défauts dans la pose du carrelage. Il expose avoir été "limité par une difficulté probatoire" découlant de la nature même des travaux de réfection entrepris et considère que la cour cantonale aurait dû se fonder sur une haute vraisemblance, au lieu d'exiger qu'il apporte une preuve stricte du montant des réparations.
2.2.1 Lorsqu'une preuve stricte n'est pas possible ou ne peut être raisonnablement exigée («état de nécessité en matière de preuve»), le degré de preuve requis se limite à la vraisemblance prépondérante. Tel est le cas par exemple lorsqu'il s'agit d'établir l'existence d'un lien de causalité naturelle, respectivement hypothétique (ATF 133 III 81 consid. 4.2.2 p. 88 s., 462 consid. 4.4.2 p. 470 s. et les arrêts cités). Il y a violation du droit fédéral si le juge impose à la partie chargée de la preuve d'établir les faits avec certitude alors que le degré de preuve requis est la vraisemblance prépondérante (ATF 133 III 81 consid. 4.2.3 p. 89).
2.2.2 En l'espèce, le moyen est dénué de tout fondement. Le recourant faisait valoir des "malfaçons sur pose (carrelage avec redents)" et alléguait avoir dû procéder et faire procéder à des réparations. On ne voit pas en quoi le recourant aurait été empêché d'établir le prix de ces réfections par des factures détaillant les travaux entrepris. Le maître de l'ouvrage soutient également que les malfaçons ont induit des complications coûteuses pour d'autres corps de métier. Là aussi, l'explication, trop floue, ne permet pas de comprendre pourquoi il n'était pas possible d'obtenir la mention d'un éventuel surcoût dans les factures des artisans en cause.
3. Dans sa demande reconventionnelle, le recourant fait valoir un dommage de 45'000 fr. qui correspondrait à la retenue effectuée par la société propriétaire de l'hôtel sur sa propre facture, en raison des défauts affectant la pose du carrelage dans les salles de bains. Selon la cour cantonale, le recourant n'a pas prouvé ce dommage. L'autorité précédente a jugé que les deux témoignages invoqués par le recourant n'étaient pas suffisants à cet égard.
3.1 Le recourant reproche tout d'abord à la Cour de justice d'avoir violé l'art. 317 al. 1 let. b CPC en déclarant irrecevable un document du 8 mars 2004 qu'il a produit pour la première fois en appel.
Selon l'art. 317 al. 1 CPC, un moyen de preuve nouveau n'est pris en compte au stade de l'appel que s'il est produit sans retard (let. a) et qu'il ne pouvait l'être devant la première instance bien que la partie qui s'en prévaut ait fait preuve de la diligence requise (let. b).
La pièce litigieuse, datée du 8 mars 2004 et émanant du recourant lui-même, existait déjà lors de la fixation de l'objet du litige devant la première instance (cf. art. 229 CPC). Pour les novas improprement dits, il appartient au plaideur qui entend les invoquer devant l'instance d'appel de démontrer qu'il a fait preuve de la diligence requise, ce qui implique notamment d'exposer précisément les raisons pour lesquelles le moyen de preuve n'a pas pu être produit en première instance (NICOLAS JEANDIN, in Code de procédure civile commenté, 2011, n° 8 ad art. 317 CPC; PETER REETZ/SARAH HILBER, in Kommentar zur Schweizerischen Zivilprozessordnung (ZPO), Sutter-Somm/Hasenböhler/Leuengerger [éd.], 2010, n° 61 ad art. 317 CPC). Dans le système du CPC, tous les faits et moyens de preuve doivent en principe être apportés dans la procédure de première instance; la diligence requise suppose donc qu'à ce stade, chaque partie expose l'état de fait de manière soigneuse et complète et qu'elle amène tous les éléments propres à établir les faits jugés importants (cf. PETER VOLKART, in Schweizerische Zivilprozessordnung (ZPO) - Kommentar, Brunner/Gasser/Schwander [éd.], 2011, n° 13 ad art. 317 CPC).
En l'espèce, le recourant expose que, devant le premier juge, il estimait avoir prouvé le dommage par l'audition des témoins et qu'il lui semblait dès lors inutile de rechercher des documents "datant de plus de huit ans". L'explication est légère et ne permet en aucun cas d'admettre que le recourant a fait preuve de la diligence requise. Aucune violation de l'art. 317 al. 1 let. b CPC ne peut être reprochée à la cour cantonale pour avoir écarté la pièce litigieuse.
Au demeurant, les juges genevois ont procédé à une appréciation anticipée des preuves et dénié toute force probante au document du 8 mars 2004 pour des motifs tout à fait convaincants auxquels il peut être renvoyé.
3.2 Le recourant fait également grief à l'autorité cantonale de n'avoir pas pris en compte "à leur juste valeur" les témoignages de M. C._ et de Mme D._ relatifs à la diminution de sa rétribution, alors même que ces déclarations ne sont contredites par aucun élément du dossier. L'appréciation des faits figurant dans l'arrêt attaqué serait ainsi en contradiction manifeste avec les preuves du dossier et la Cour de justice aurait versé dans l'arbitraire en retenant que le recourant n'avait pas suffisamment prouvé son dommage à hauteur de 45'000 fr.
Le témoin D._, représentante du propriétaire de l'hôtel et maître de l'ouvrage, a certes confirmé que des retenues avaient été effectuées sur les montants dus à l'entreprise du recourant, sans toutefois être en mesure de préciser les prestations sur lesquelles ces retenues avaient été opérées. Elle a déclaré également qu'il était "possible" qu'un montant de 45'000 fr. ait été déduit en raison des malfaçons du carrelage. Pour sa part, le témoin C._, architecte, a déclaré qu'il "imagin[ait]" que le maître de l'ouvrage avait pu réduire le prix de certaines prestations en raison de prétendus défauts, étant donné qu'il avait agi ainsi avec lui-même.
Le recourant devait prouver le dommage qu'il invoquait. Les témoignages susmentionnés, dépourvus de tout ton catégorique, n'étaient manifestement pas à même de démontrer à eux seuls le préjudice et son ampleur. S'il explique peut-être le manque de précision du témoignage D._, le long laps de temps écoulé depuis les travaux n'est en tout cas pas, contrairement à ce que pense le recourant, une circonstance qui devait amener la cour cantonale à admettre sans autre le chiffre articulé. Le recourant n'a au surplus fourni aucun élément écrit émanant du maître de l'ouvrage, propre à étayer le préjudice qu'il prétendait avoir subi. En conclusion, la cour cantonale n'est pas tombée dans l'arbitraire en jugeant que la preuve du dommage n'avait pas été rapportée.
4. Sur le vu de ce qui précède, le recours doit être rejeté.
En conséquence, le recourant prendra à sa charge les frais judiciaires (art. 66 al. 1 LTF) et versera des dépens à l'intimée (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 3'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 16 octobre 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Godat Zimmermann