Faits: A. Le médecin X._ a travaillé du 1er octobre 1996 au 30 septembre 1999 en qualité de médecin assistant aux Hôpitaux Universitaires de Genève (HUG) en vertu de contrats annuels successifs. Il a projeté d'accomplir par la suite un stage de perfectionnement afin d'occuper ultérieurement un poste de médecin-chef aux HUG. Dans cette optique et aux termes d'un contrat de prêt du 30 novembre 1998, les HUG ont "autorisé" X._ à suivre ce stage du 1er octobre 1999 au 31 décembre 2003 et se sont engagés à lui verser un montant de 60'000 fr. par tranches mensuelles de 5'000 fr. jusqu'au 30 septembre 2000. X._ s'engageait de son côté à travailler pendant trois ans aux HUG à son retour. En cas de non-respect de cette obligation, le médecin devait rembourser le capital augmenté d'intérêts selon différentes modalités liées à la date de résiliation des rapports contractuels. Tout litige relatif à l'exécution du contrat a été soumis à la juridiction genevoise. Alors qu'il était à l'étranger, X._ a sollicité et obtenu des HUG un nouveau prêt de 45'000 fr. accordé le 16 novembre 2000 aux mêmes conditions que le premier emprunt. Les HUG ont retenu et versé des cotisations sociales sur les montants alloués en vertu des deux contrats de prêt. A la fin de la période prévue, X._ a décidé de ne pas retourner à Genève en raison d'une réorganisation des HUG qui ne lui convenait pas. Les HUG lui ont alors en vain réclamé le remboursement des prêts. B. Le 6 novembre 2009, les HUG, qui sont organisés sous la forme d'un établissement de droit public doté de la personnalité juridique, ont ouvert action en paiement de 96'502 fr. devant le Tribunal de première instance genevois (14ème Chambre); X._ a contesté la compétence du Tribunal. Par jugement du 6 mai 2010, ce dernier a admis l'exception d'incompétence et, partant, déclaré la demande irrecevable. Il a jugé que le médecin était dans une relation de contrat de travail avec les HUG jusqu'au 31 décembre 2003, que les contrats de prêt s'inscrivaient donc dans une relation entre travailleur et employeur et qu'il n'était dès lors pas compétent pour en connaître. Par arrêt du 17 décembre 2010 rendu sur appel des HUG et envoyé aux parties le 21 décembre 2010, la Chambre civile de la Cour de justice a annulé le jugement d'irrecevabilité et renvoyé la cause au Tribunal de première instance pour instruction et décision. Elle a jugé que les rapports entre les parties après le 30 septembre 1999 étaient uniquement régis par le contrat de prêt litigieux, à l'exclusion de tout contrat de travail de droit privé ou de droit public, si bien que les juridictions ordinaires étaient compétentes pour traiter de la demande. C. X._ (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral, concluant à ce qu'il soit dit que le Tribunal de première instance n'est pas compétent pour connaître de la demande. Les HUG (ci-après: les intimés) concluent au rejet du recours. L'autorité précédente se réfère à son arrêt.