Faits: A. A.a X._ est propriétaire d'un terrain, sis à ..., sur lequel il a fait construire une villa. Il a confié initialement les travaux de gypserie et de peinture à une entreprise exploitée sous la raison individuelle "A._", qui a signé, le 18 octobre 1999, une soumission pour un montant total de 94'128 fr. 60. A._ a ensuite sous-traité les travaux de peinture à une autre entreprise inscrite au registre du commerce sous la raison individuelle "B._". Cette dernière a été radiée du registre du commerce le 12 novembre 2003, date d'inscription de Y._ Sàrl qui a repris ses actifs. N'ayant pas été intégralement payée par A._ pour les travaux effectués, B._ a souhaité se retirer du chantier. Elle s'est alors vu adjuger directement les travaux de gypserie-peinture et d'isolation extérieure, "en substitution de A._", sur la base de deux soumissions, datées des 22 et 25 octobre 2000, pour les montants respectifs de 92'268 fr. et 37'883 fr. 86. Des dommages relativement importants ont été causés lors de la construction de la villa. B._ a ainsi été chargée d'un grand nombre de travaux de réfection pour lesquels elle a établi, le 2 avril 2002, une facture de 37'753 fr. 20. A.b Le 5 juin 2002, "C._", agissant pour le compte du maître de l'ouvrage, a adressé à B._ deux décomptes finaux concernant les travaux de peinture et d'isolation. Les soldes à payer, selon ces décomptes, se montaient respectivement à 43'400 fr. et 6'700 fr. Par lettre signature du 1er septembre 2003, X._ a contesté les montants réclamés, motif pris, notamment, de ce que plusieurs postes avaient déjà été facturés. Le 15 janvier 2004, B._ a fait notifier à X._ deux commandements de payer portant sur 90'364 fr. 05 et 82'514 fr. 35, intérêts en sus. Le poursuivi y a fait opposition totale. B. B.a Par demande du 18 mars 2005, Y._ Sàrl a ouvert action en reconnaissance de dette contre X._. Selon le dernier état de ses conclusions, elle a réclamé le paiement de 60'416 fr. 05, avec intérêts à 5% dès le 3 mai 2002, pour ses factures impayées. Le défendeur a conclu au rejet de la demande et, reconventionnellement, au paiement de 15'417 fr. 10, avec intérêts à 5% l'an dès le 18 mars 2005, à titre de restitution d'acomptes versés en trop au regard du prix total des travaux exécutés par B._. En cours d'instruction, plusieurs témoins ont été entendus. Un architecte a, en outre, été commis en qualité d'expert judiciaire. Dans son rapport du 13 janvier 2009, il a constaté que le montant total facturé par B._ s'élevait à 251'487 fr. Toutefois, ce montant ne lui semblait pas justifié, la créance de l'entreprise demanderesse devant se situer dans une fourchette comprise entre 212'411 fr. 45 et 219'719 fr. 70. Dès lors, compte tenu des montants payés par le défendeur, le solde dû par celui-ci s'élevait à 6'019 fr. 70 au plus, selon l'expert. B.b Par jugement du 28 janvier 2010, le Tribunal civil de l'arrondissement de La Côte a reconnu X._ débiteur de Y._ Sàrl de la somme de 52'425 fr. 70 avec intérêts à 5% l'an dès le 29 janvier 2005. Dans cette mesure, il a levé définitivement l'opposition formée par le défendeur au commandement de payer relatif à cette créance. En droit, les premiers juges ont estimé que la soumission du 18 octobre 1999 devait être qualifiée de contrat d'entreprise, lequel liait X._, en tant que maître de l'ouvrage, et A._ comme entrepreneur. Ils ont retenu que B._ n'avait agi qu'en qualité de sous-traitant de A._, dans un premier temps, puis qu'il y avait eu transfert de contrat, B._ s'étant substituée à A._ selon les soumissions des 22 et 25 octobre 2000, contresignées par le défendeur. B._ était ainsi liée à ce dernier par deux contrats d'entreprises: l'un pour des travaux de gypserie et de peinture, l'autre pour des travaux d'isolation extérieure. Pour déterminer le montant dû par le défendeur à la demanderesse, le Tribunal d'arrondissement s'est référé au prix minimum calculé par l'expert, auquel il a apporté quelques corrections, aboutissant à un total de 213'100 fr. 80. A cette somme, il a ajouté le montant de 8'297 fr. 85 du chef de certains rabais conventionnels dont l'expert n'aurait pas dû tenir compte, les conditions de leur octroi n'étant pas réalisées. Sur le total de 221'398 fr. 65, les premiers juges ont imputé les 168'972 fr. 95 d'acomptes que B._ avait perçus de l'entreprise A._ ou du défendeur et ont, dès lors, arrêté à 52'425 fr. 70 le solde dû par ce dernier. Ils n'ont, en revanche, pas pris en considération les 44'727 fr. 05 représentant la différence entre le montant total de 213'700 fr. versé par X._ pour les travaux de gypserie, de peinture et d'isolation extérieure et les acomptes perçus par B._, estimant que le maître de l'ouvrage n'avait pas établi que B._ avait effectivement touché ces 44'727 fr. 05. S'agissant de la demande reconventionnelle, la juridiction de première instance a constaté que les 15'417 fr. 10, qui en formaient l'objet, résultaient de la différence entre les 213'700 fr. versés par le défendeur pour les travaux accomplis par B._ et le montant total des factures de cette entreprise admis par l'intéressé (198'282 fr. 90). A cet égard, elle a retenu, d'une part, que ce dernier montant n'avait pas été justifié par le défendeur et, d'autre part, que celui-ci n'avait pas prouvé n'avoir accepté la reprise du contrat par B._ que sous déduction des acomptes déjà versés à A._ pour les travaux de peinture. B.c Saisie par le défendeur, la Chambre des recours du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance par arrêt du 2 février 2011, notifié le 26 avril 2011 aux parties. Devant la cour cantonale, le défendeur avait soutenu, pour l'essentiel, que le contrat d'entreprise le liant à A._ avait été transféré à B._ avec effet à compter de la signature des soumissions des 22 et 25 octobre 2000. Aussi cette entreprise n'était-elle titulaire d'aucune créance à son encontre du chef des travaux exécutés par elle avant ce transfert. Quant aux travaux effectués postérieurement à ces deux dates, elle n'en avait pas établi le prix et devait, partant, supporter l'échec de la preuve de ce fait. De son côté, la demanderesse avait fait valoir qu'il n'y avait pas eu transfert de contrat, mais conclusion d'un nouveau contrat d'entreprise, aux deux dates précitées, avec reprise par le défendeur de la dette de A._ à l'égard de B._. Après avoir rappelé les principes régissant le transfert d'un contrat, les juges cantonaux ont constaté que B._ n'avait pas repris telles quelles, dans la soumission pour les travaux de peinture du 22 octobre 2000, les positions de la soumission établie le 18 octobre 1999 par A._, mais y avait fait des corrections, portant ainsi sa propre appréciation sur les travaux à exécuter. Quant aux travaux d'isolation extérieure mentionnés dans la soumission du 25 octobre 2000 remplie par B._, ils n'avaient pas d'équivalent dans ceux pour lesquels A._ avait soumissionné. Les magistrats vaudois en ont déduit qu'ils ne se trouvaient pas en présence d'un transfert de contrat, mais bien d'un nouveau contrat. Aussi importait-il peu, à leur avis, que la demanderesse n'eût pas prouvé quelle était la part des travaux effectués après la signature des deux soumissions, puisqu'à défaut de transfert, la distinction proposée par le défendeur ne se justifiait pas. N'était pas non plus déterminant le point de savoir ce que le maître de l'ouvrage avait payé globalement à A._ et à B._, car seul était décisif le montant dû à cette dernière. Il incombait donc au défendeur de prouver que le montant que lui réclamait la demanderesse avait déjà été versé à B._. A ce défaut, seuls pouvaient être imputés sur la créance litigieuse les versements admis par les premiers juges, soit un total de 168'972 fr. 95. Or, le défendeur avait échoué à rapporter une telle preuve. Sur la base de ces considérations, l'autorité précédente a entériné les calculs que les premiers juges avaient opérés pour aboutir au solde de 52'425 fr. 70. Relativement aux 44'727 fr. 05 représentant la différence entre les acomptes versés par le défendeur et ceux que B._ avait effectivement touchés, elle a confirmé, par substitution de motif, la décision de la juridiction inférieure de ne pas les prendre en considération, en soulignant qu'il était correct de faire ainsi abstraction des relations entre le maître de l'ouvrage et A._ pour examiner les prétentions de la demanderesse à l'égard du défendeur, son unique partenaire contractuel. C. Le 27 mai 2011, le défendeur a interjeté un recours en matière civile au Tribunal fédéral. Il conclut principalement à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle instruction et nouvelle décision. A titre subsidiaire, le recourant invite le Tribunal fédéral à constater qu'il n'est pas le débiteur de la demanderesse et à ordonner la radiation de la poursuite concernant la créance litigieuse. La demanderesse et intimée propose le rejet du recours. Quant à l'autorité précédente, elle se réfère aux motifs énoncés dans l'arrêt attaqué. L'effet suspensif a été accordé au recours par ordonnance présidentielle du 23 juin 2011.