Faits: A. Le 2 octobre 2007, A._ a déposé une plainte pénale contre inconnu pour lésions corporelles graves par négligence. Après une opération de la hanche réalisée le 13 juin 2006 par les docteurs B._, D._ et C._, une perte de sensibilité de la cuisse droite, puis une hypotrophie musculaire avaient été constatées. Au terme d'examens passés aux mois de mars et décembre 2008, il apparaissait que le nerf fémoral ne fonctionnait plus correctement, probablement en raison d'une lésion occasionnée par un écarteur posé lors de l'opération. B. Par ordonnance du 22 février 2011, le Procureur de l'arrondissement de Lausanne a classé la procédure pénale, considérant que les médecins n'avaient violé ni leur devoir d'information ni les règles de l'art médical. Selon un rapport d'expertise du 13 janvier 2009, le patient avait été informé de certaines complications possibles. La lésion du nerf pouvait survenir sans incident opératoire. La trop grande extension de l'écarteur n'était qu'une supposition, l'utilisation d'un tel instrument engendrant toujours des lésions. Une lésion du nerf fémoral pouvait très rarement survenir, mais ce risque n'était pas suffisamment connu à l'époque de l'intervention. C. Par arrêt du 28 avril 2011, la Chambre des recours pénale du Tribunal cantonal vaudois a confirmé l'ordonnance de classement. Lors d'une précédente opération de la hanche en 2005, A._ avait déjà reçu une première série d'informations. Avant la seconde opération, le Dr B._ l'avait informé du risque d'une lésion du nerf ou d'un vaisseau sanguin empêchant les muscles de la jambe de fonctionner normalement. Le risque de lésion du nerf fémoral n'était pas connu à l'époque de l'opération. Compte tenu de la faiblesse de ce risque, l'information donnée au patient était suffisante. L'opération avait été effectuée dans les règles de l'art et la lésion du nerf fémoral faisait partie des complications possibles, sans qu'il y ait nécessairement faute médicale. D. Par acte du 24 juin 2011, A._ forme un recours en matière pénale par lequel il demande l'annulation de l'arrêt cantonal et le renvoi de la cause au Ministère public pour que celui-ci complète l'instruction et engage l'accusation contre les Dr B._ et C._. La Chambre des recours pénale se réfère à son arrêt. Le Ministère public conclut au rejet du recours. C._ et B._ concluent au rejet du recours dans la mesure où il est recevable. Le recourant a formulé des observations complémentaires.