Faits:
A. Le médecin X._ a travaillé du 1er octobre 1996 au 30 septembre 1999 en qualité de médecin assistant aux Hôpitaux Universitaires de Genève (HUG) en vertu de contrats annuels successifs. Il a projeté d'accomplir par la suite un stage de perfectionnement afin d'occuper ultérieurement un poste de médecin-chef aux HUG.
Dans cette optique et aux termes d'un contrat de prêt du 30 novembre 1998, les HUG ont "autorisé" X._ à suivre ce stage du 1er octobre 1999 au 31 décembre 2003 et se sont engagés à lui verser un montant de 60'000 fr. par tranches mensuelles de 5'000 fr. jusqu'au 30 septembre 2000. X._ s'engageait de son côté à travailler pendant trois ans aux HUG à son retour. En cas de non-respect de cette obligation, le médecin devait rembourser le capital augmenté d'intérêts selon différentes modalités liées à la date de résiliation des rapports contractuels. Tout litige relatif à l'exécution du contrat a été soumis à la juridiction genevoise.
Alors qu'il était à l'étranger, X._ a sollicité et obtenu des HUG un nouveau prêt de 45'000 fr. accordé le 16 novembre 2000 aux mêmes conditions que le premier emprunt. Les HUG ont retenu et versé des cotisations sociales sur les montants alloués en vertu des deux contrats de prêt.
A la fin de la période prévue, X._ a décidé de ne pas retourner à Genève en raison d'une réorganisation des HUG qui ne lui convenait pas. Les HUG lui ont alors en vain réclamé le remboursement des prêts.
B. Le 6 novembre 2009, les HUG, qui sont organisés sous la forme d'un établissement de droit public doté de la personnalité juridique, ont ouvert action en paiement de 96'502 fr. devant le Tribunal de première instance genevois (14ème Chambre); X._ a contesté la compétence du Tribunal. Par jugement du 6 mai 2010, ce dernier a admis l'exception d'incompétence et, partant, déclaré la demande irrecevable. Il a jugé que le médecin était dans une relation de contrat de travail avec les HUG jusqu'au 31 décembre 2003, que les contrats de prêt s'inscrivaient donc dans une relation entre travailleur et employeur et qu'il n'était dès lors pas compétent pour en connaître.
Par arrêt du 17 décembre 2010 rendu sur appel des HUG et envoyé aux parties le 21 décembre 2010, la Chambre civile de la Cour de justice a annulé le jugement d'irrecevabilité et renvoyé la cause au Tribunal de première instance pour instruction et décision. Elle a jugé que les rapports entre les parties après le 30 septembre 1999 étaient uniquement régis par le contrat de prêt litigieux, à l'exclusion de tout contrat de travail de droit privé ou de droit public, si bien que les juridictions ordinaires étaient compétentes pour traiter de la demande.
C. X._ (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral, concluant à ce qu'il soit dit que le Tribunal de première instance n'est pas compétent pour connaître de la demande. Les HUG (ci-après: les intimés) concluent au rejet du recours. L'autorité précédente se réfère à son arrêt.

Considérant en droit:
1. L'arrêt attaqué est une décision incidente sur la compétence notifiée séparément et rendue sur recours par une autorité cantonale supérieure sous le régime de l'ancien droit de procédure cantonal. La demande porte sur une créance que les intimés fondent sur un contrat de prêt; l'objet du litige au fond tel que défini par la demande relève du droit civil. La valeur litigieuse est de 96'502 fr. La voie du recours en matière civile est ouverte (art. 72 al. 1, art. 74 al. 1, art. 75 al. 1 et 2, art. 92 al. 1 LTF).
2. La compétence des autorités genevoises n'est pas contestée. Le recours porte uniquement sur la question de savoir si ce sont les juridictions ordinaires ou les juridictions prud'homales qui sont compétentes pour connaître de la demande introduite.
Selon l'art. 1 al. 1 let. a de l'ancienne loi genevoise sur la juridiction des prud'hommes (juridiction du travail) du 25 février 1999 (aLJP/GE) en vigueur jusqu'au 31 décembre 2010, la juridiction des prud'hommes est compétente pour juger les contestations entre employeurs et salariés pour tout ce qui concerne leurs rapports découlant d'un contrat de travail, au sens du titre dixième du code des obligations. La formulation de la nouvelle loi genevoise du 11 février 2010 sur le Tribunal des prud'hommes (LTPH; RSG E 3 10), entrée en vigueur au 1er janvier 2011, est quelque peu différente; il est prévu que le Tribunal des prud'hommes juge les litiges découlant d'un contrat de travail, au sens du titre dixième du code des obligations. En l'espèce, la compétence était déterminée par l'ancien droit.
Si le droit cantonal, dans un domaine de son ressort exclusif, déclare applicable une règle du droit fédéral, utilise une notion de droit fédéral ou pose une question préalable de droit fédéral, cela n'a pas pour effet de transformer la question de droit cantonal en une question de droit fédéral; lorsque la question principale relève du droit cantonal, les questions préalables qu'il pose et les notions auxquelles il se réfère sont également considérées comme relevant du droit cantonal (cf. <ref-ruling> consid. 1a). Que le droit cantonal utilise la notion de "contrat de travail" n'enlève donc rien au fait que la compétence de la juridiction des prud'hommes du canton de Genève est une question de droit cantonal.
L'application du droit cantonal est uniquement examinée sous l'angle d'une violation de l'interdiction constitutionnelle de l'arbitraire (cf. <ref-ruling> consid. 2.3 et consid. 4.4.1). On peut se demander si une telle limitation est appropriée dans les cas où la solution donnée à la question préalable de droit fédéral, que le Tribunal fédéral ne peut pas revoir librement, scelle le sort du litige au fond, par exemple lorsque la prétention litigieuse ne peut découler que d'un contrat de travail, que son existence dépend donc de la qualification du contrat : la décision incidente qui exclut un tel contrat à titre préalable et nie ainsi la compétence exclusive du juge prud'homal a pour conséquence que la prétention ne peut pas être portée en justice. La question peut rester indécise en l'espèce dès lors que le cas concret n'entre pas dans cette hypothèse.
Selon le Tribunal de première instance, les juridictions ordinaires n'étaient pas compétentes pour connaître de prétentions fondées sur un contrat de prêt s'inscrivant dans une relation entre travailleur et employeur. La Chambre civile ne conteste pas cette interprétation du droit cantonal en tant que telle, qui se concilie au demeurant avec le texte de l'art. 1 aLJP/GE; les parties ne la critiquent pas non plus. Elle est partant acquise. Il n'y a dès lors qu'à examiner si la Chambre civile est tombée dans l'arbitraire en niant l'existence d'un contrat de travail à l'époque déterminante.
En matière d'interprétation et d'application du droit cantonal, y compris du droit fédéral appliqué à titre de droit cantonal supplétif, il n'y a arbitraire que si la violation de la loi est manifeste et reconnaissable d'emblée. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement se prononcer sur le caractère défendable de l'application ou de l'interprétation du droit cantonal faite par l'autorité cantonale. Il n'y a pas arbitraire du fait qu'une autre solution paraît également concevable, voire même préférable (<ref-ruling> consid. 4.4.1).
3. Le recourant soutient que durant son stage, il était au bénéfice d'un contrat de travail dont les obligations principales et réciproques (obligation de travailler et de payer une rémunération) étaient temporairement suspendues. A l'appui de sa thèse, il relève, entre autres faits ressortant de l'arrêt attaqué, que le contrat de prêt a été conclu le 30 novembre 1998, à une époque où les parties étaient incontestablement liées par une relation de travail, que selon le préambule de la convention de prêt, les intimés l'"autorisaient" à effectuer un stage, que les cotisations sociales ont été déduites des montants versés en vertu de ce contrat et que la responsable des ressources humaines des intimés lui a écrit le 22 janvier 2004 qu'il avait "bénéficié d'un congé sans traitement" du 1er octobre 2002 au 31 décembre 2003 afin de terminer sa formation.
Pour nier une relation de travail, la Chambre civile s'est essentiellement fondée sur le fait que le recourant avait bénéficié de trois contrats de travail successifs d'une année passés sous la forme écrite, que le dernier de ces contrats était venu à terme le 30 septembre 1999 et que les parties n'avaient alors pas conclu de nouveau contrat de travail écrit dont elles auraient suspendu les obligations principales. Néanmoins, comme le relève le recourant, un contrat de travail peut être passé oralement ou tacitement. En l'espèce, à supposer que les relations aient continué au-delà du 30 septembre 1999, elles seraient fondamentalement modifiées dans le sens que les obligations principales seraient suspendues; dans ces circonstances, il serait compréhensible de renoncer à passer en la forme écrite un nouveau contrat de travail destiné à régler des obligations contractuelles de toute façon suspendues. Cela ne signifie toutefois pas encore que les déductions de la Chambre civile sont insoutenables, loin de là. Il y a en particulier lieu de constater que le recourant ne travaillait plus dans l'établissement des intimés, ne leur était plus subordonné dans son activité professionnelle qu'il exerçait et ne percevait plus de salaire de leur part.
Le recourant objecte que les intimés n'auraient probablement pas été en droit de lui accorder un prêt sans le maintien d'un lien organique entre eux. Mais il ne démontre pas à quelles conditions les intimés peuvent accorder des prêts à des médecins en formation; or, il ne pouvait se limiter à articuler des possibilités déduites de probabilités. Quoi qu'il en soit, l'existence d'un lien organique ne signifierait pas encore que ce lien devrait nécessairement être qualifié de contrat de travail. De même, le fait de devoir renseigner les intimés sur le déroulement du stage peut sans autre s'analyser comme une obligation accessoire du contrat de prêt accordé pour cause de formation et n'implique pas nécessairement un contrat de travail.
Le recourant insiste sur le fait que les parties étaient encore liées par le contrat de travail écrit venu à échéance le 30 septembre 1999 lorsqu'elles ont conclu le contrat de prêt. On ne discerne toutefois pas en quoi cela impliquerait l'existence d'un contrat de travail au-delà de cette date.
Le recourant invoque aussi le fait que les intimés ont procédé à des retenues sur les montants versés chaque mois en exécution du contrat de prêt à titre de contribution aux assurances sociales. Les intimés prétendent procéder de la sorte afin d'éviter à l'emprunteur de devoir verser ces cotisations ultérieurement, au moment où son obligation de rembourser s'éteint parce qu'il a respecté son obligation contractuelle de retravailler à leur service. Cela se conçoit sans autre.
Le recourant fait observer que selon les termes du contrat de prêt, les intimés l'autorisaient à faire un stage. Cela ne signifie pas nécessairement qu'il existait une relation de travail entre les parties au-delà du 30 septembre 1999. Il pouvait exister un lien d'une autre nature, ou il pouvait simplement s'agir d'une autorisation de faire un stage avec le soutien financier des intimés.
Reste la déclaration de la responsable des ressources humaines selon laquelle le recourant a bénéficié d'un congé sans traitement. La Chambre civile l'a écartée sans la discuter spécifiquement. Prise au mot, elle sous-entend un contrat de travail. Mais on peut évidemment se demander si les termes utilisés l'ont été consciemment et en connaissance de cause.
Enfin, il n'y a rien d'insoutenable à se référer à un règlement de service postérieur aux faits de la cause comme simple indice, parmi d'autres, de la volonté objective des parties; le recourant ne saurait surestimer l'importance d'un tel élément, ladite réglementation ayant en l'occurrence été citée par les deux autorités cantonales successives pour étayer des thèses opposées.
En résumé, certains éléments pouvaient permettre d'admettre sans arbitraire un contrat de travail dont les obligations principales et réciproques étaient temporairement suspendues. Mais la solution contraire retenue par la Chambre civile repose sur des motifs défendables et n'est partant, elle non plus, pas arbitraire.
4. Le recourant succombe. Il supporte les frais et dépens de la procédure (art. 66 al. 1 et art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le recourant versera aux intimés une indemnité de 3'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 11 avril 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Monti