Faits: A. En 1996, X._, né en 1963, souffrait d'une gêne respiratoire au niveau du nez et d'une asymétrie du nez. Une dizaine d'années plus tôt, il avait été opéré à Toronto par le Dr A._ à la suite d'un accident ayant entraîné une fracture du nez. Le 6 mars 1996, il a subi une nouvelle opération du nez, pratiquée à la Clinique B._ par le Dr Y._, spécialiste FMH en chirurgie plastique et reconstructive. Au cours de l'intervention, le médecin a placé cinq mèches dans le nez de X._; une mèche est une bande de tissu ou de gaze mise en place dans une cavité. Après cette deuxième intervention, une bosse s'est formée sur l'arête du nez et des inflammations locales persistantes se sont développées. X._ a consulté Y._ ainsi que d'autres médecins. Il a été contraint d'interrompre son activité professionnelle. Le 26 mai 2003, X._ a été examiné par le professeur C._, responsable de l'unité de rhino-olfactologie de l'hôpital D._. Ce dernier a découvert, dans le vestibule de la fosse nasale droite, un fragment d'un tampon d'hémostase en gaze synthétique, soit un corps étranger d'origine chirurgicale mesurant 1,5 x 0,6 x 0,1 cm. Le 4 juin 2003, le professeur C._ a procédé à l'extraction de ce corps étranger. La zone endommagée du nez étant fortement fragilisée, il a déconseillé au patient d'entreprendre une reconstitution du nez en raison des dangers et aléas d'une telle intervention. Le 28 avril 2004, X._ a informé Y._ qu'il entendait le rechercher en responsabilité. Le conseil de X._ a soumis diverses questions au professeur C._. Celui-ci a notamment répondu que la mèche trouvée dans le nez n'avait pas de traceur métallique et n'était dès lors pas nécessairement décelable lors d'un examen radiologique ou rhinologique, que les matériaux tels que les mèches devaient contenir un traceur métallique ou, en tout cas, faire l'objet d'un contrôle très précis de leur nombre avant et à la fin de l'opération, que l'infection dont X._ avait souffert était très probablement due à la présence de la mèche, qu'il était totalement improbable que la mèche ait été oubliée par le Dr A._ sans que X._ n'en ait ressenti des effets secondaires et que si cette dernière éventualité «absurde» était tout de même envisagée, Y._ aurait alors dû trouver la mèche lors de l'intervention litigieuse, puisque le fragment de gaze se trouvait exactement dans le champ opératoire. B. Par demande du 25 août 2006, X._ a ouvert action contre Y._ devant la Cour civile du Tribunal cantonal du canton de Vaud, concluant en dernier lieu à ce que le médecin soit déclaré civilement responsable d'avoir oublié une mèche lors de l'intervention chirurgicale du 6 mars 1996, à ce qu'il soit condamné à lui payer 50'000 fr. avec intérêts à titre d'indemnité pour tort moral ainsi que les sommes de 274 fr. 50 et 48'257 fr. 10 avec intérêts pour ses frais médicaux et, enfin, à ce que ses droits soient réservés s'agissant du dommage pour perte de gain. Y._ a conclu au rejet de la demande. Le professeur honoraire E._, spécialiste FMH en oto-rhino-laryngologie et en chirurgie cervico-faciale, a été commis comme expert judiciaire. Il s'est écarté de l'avis du professeur C._. L'expert a estimé que l'opération avait été pratiquée dans les règles de l'art selon une technique éprouvée. Il a envisagé deux hypothèses. Selon la première hypothèse, la mèche a été oubliée par le Dr A._; elle aurait pu être repoussée par Y._ lors de la section de l'arête nasale et, à partir de ce moment, provoquer une réaction inflammatoire. Or, d'après l'expert, on ne saurait reprocher à Y._ de ne pas avoir décelé la mèche lors de cette intervention difficile, puisqu'il opérait à l'aveugle et au doigté dans des tissus cicatriciels adhérents et hémorragiques. Selon la seconde hypothèse, la mèche a été introduite lors de l'opération dans le but de contenir une hémorragie et a été oubliée, ou un fragment de tulle utilisé pour maintenir en place des structures s'est détaché et incrusté dans la plaie. Comme Y._ ne pouvait pas voir la mèche, par hypothèse oubliée, dans les circonstances particulières de cette opération, un tel oubli ne constituerait pas une violation des règles de l'art. Lors de l'audience de jugement du 26 mai 2010, l'expert a été entendu. Il a notamment déclaré qu'il était possible qu'un corps étranger reste dans le nez pendant près de dix ans de manière asymptomatique. Au cours de l'audience, X._ a requis une deuxième expertise. La Cour civile a rejeté cette réquisition, estimant suffisante l'expertise judiciaire du professeur E._. Par jugement du même jour dont les considérants ont été notifiés le 17 novembre 2010, la Cour civile a rejeté la demande. Elle a jugé que l'avis de l'expert devait prévaloir sur celui du professeur C._. En effet, aucun élément objectif ne permettait de s'écarter de l'expertise judiciaire et cette dernière avait une valeur probante plus grande que les pièces techniques produites en procédure. Contre ce jugement, X._ a interjeté un recours en nullité cantonal dans lequel il se plaignait d'arbitraire dans l'appréciation des preuves et l'établissement des faits, ainsi que d'une violation des règles de la procédure cantonale en relation avec le refus d'une deuxième expertise. C. C.a Sans attendre qu'il soit statué sur le recours cantonal (cf. ancien art. 100 al. 6 LTF), X._ a également formé un recours en matière civile contre le jugement de la Cour civile. Il y reprend les conclusions au fond telles que formulées devant les premiers juges; à titre subsidiaire, il demande le renvoi de la cause à l'autorité cantonale. Invoquant les art. 9 Cst. et 8 CC, il reproche à la Cour civile d'avoir apprécié les preuves et établi les faits de manière arbitraire, d'une part, et d'avoir violé son droit à la preuve, d'autre part. Par ordonnance du 3 janvier 2011, la procédure a été suspendue jusqu'à droit connu sur le recours cantonal. Par arrêt du 22 mars 2011 dont les considérants ont été notifiés le 26 mai 2011, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours cantonal. En particulier, elle a jugé que l'appréciation des preuves effectuée par la Cour civile n'était pas arbitraire. C.b Contre cet arrêt, X._ interjette un recours en matière civile, reprenant toujours les mêmes conclusions au fond; il conclut subsidiairement au renvoi de la cause à l'autorité cantonale. Il se plaint d'arbitraire dans l'appréciation des preuves et invoque une violation de son droit d'être entendu. C.c Y._ propose le rejet des deux recours. Pour leur part, la Cour civile et la Chambre des recours se réfèrent aux considérants de leurs décisions.