Faits: A. X._, né en 1982, s'est immatriculé à l'Université de Genève, en Faculté des sciences économiques et sociales, en automne 2003. Il a suivi les cours de première année à Genève, puis a accompli sa seconde année à l'Université Complutense de Madrid. En automne 2005, il s'est inscrit à l'Institut des hautes études internationales et du développement (ci-après: l'IHEID), à Genève, en vue d'obtenir une licence en relations internationales. Parallèlement à ses études, X._ a travaillé, de février 2006 à février 2007, au sein de la Mission diplomatique du Timor-Leste auprès de l'Office des Nations Unies et des organisations internationales, à Genève, puis il a été engagé, du 26 mars au 8 novembre 2007, comme stagiaire académique auprès de l'Ambassade de Suisse à New Dehli. Enfin, du 15 janvier au 30 octobre 2008, il a été engagé, à plein temps, pour le compte de la Direction du développement et de la coopération (DDC), à Berne. B. X._ s'est présenté aux examens finaux de quatrième année lors des sessions de février et juin 2008. Il a réussi les trois examens écrits à la première tentative et a ainsi reçu les 12 crédits accordés pour ces examens. En revanche, il a échoué deux fois à l'examen oral « Coopération, organisations et relations : questions spéciales » (ci-après: examen CORI), obtenant à chaque essai une note de 3,5, insuffisante pour recevoir les 12 crédits requis pour cet examen. Le 15 juillet 2008, X._ s'est adressé aux professeurs qui avaient jugé sa prestation orale pour connaître les raisons de son échec et obtenir des conseils afin de mieux préparer sa dernière tentative. Le 14 août 2008, le professeur A._ lui a répondu qu'il n'était plus en possession des notes de l'examen de la session d'été et qu'il n'était pas en mesure de lui donner des indications particulières concernant sa « performance de l'époque ». Il lui a toutefois prodigué quelques conseils sur la manière de procéder, en relevant que chaque professeur avait « sa façon d'évaluer et ses préférences ». Le 3 septembre 2008, X._ s'est présenté pour la troisième fois à l'examen CORI et a obtenu la note 3. Ce nouvel échec étant définitif, le directeur de l'IHEID a, par lettre du 18 septembre 2009, informé X._ de son élimination. C. X._ a formé opposition contre cette décision d'élimination, en demandant à pouvoir se représenter à l'examen CORI. Se fondant sur son bon parcours académique et professionnel, il faisait valoir que son stress et son anxiété l'avaient conduit à répondre de manière hâtive et peu contrôlée aux examinateurs, lesquels l'avaient contredit avec virulence, mettant en cause notamment l'actualité de ses sources. Il disait qu'il allait entreprendre toutes les démarches utiles pour surmonter ce problème et produisait deux attestations de médecins qui le suivaient, datées du mois d'octobre 2008. Par décision du 18 décembre 2008, le Directeur de l'IHEID a rejeté l'opposition. En ce qui concerne l'appréciation de l'examen, il s'est fondé sur le rapport de la commission des oppositions, accepté par le collège des professeurs dans sa séance du 8 décembre 2008, qui écartait toute trace d'arbitraire dans la manière dont l'examen CORI avait été évalué. Pour le reste, il a estimé que le stress et l'anxiété causés par un examen oral ne pouvaient constituer une circonstance exceptionnelle, puisqu'ils étaient le lot d'un grand nombre d'étudiants. L'intéressé ne s'était d'ailleurs préoccupé de ce problème qu'après son échec définitif. D. X._ a recouru contre cette décision auprès du Tribunal administratif du canton de Genève, compétent, depuis le 1er janvier 2009, pour connaître des décisions sur opposition (cf. art. 163 al. 3 de la loi genevoise sur l'organisation judiciaire modifiée le 18 septembre 2008; RSGE E2 05). Après avoir entendu les parties lors d'une audience de comparution personnelle du 3 avril 2009, le Tribunal administratif a rejeté le recours, par arrêt du 27 octobre 2009. Il a tout d'abord constaté que l'opposition avait été instruite conformément aux dispositions légales applicables et que le grief de violation du droit d'être entendu devait être rejeté, dès lors que le recourant avait pu prendre connaissance des avis des examinateurs produits devant la juridiction cantonale qui disposait du même pouvoir d'appréciation que le collège des professeurs. Sur le fond, il a estimé que l'avis émis par un examinateur, confirmé par le second, reposait sur les notes prises lors de l'examen et révélait les lacunes reprochées au recourant. Rien ne permettait ainsi de considérer que les examinateurs avaient apprécié arbitrairement les prestations du recourant. En outre, la situation de l'intéressé et son cursus ne justifiaient pas qu'il soit mis au bénéfice de circonstances exceptionnelles, de sorte que la décision d'élimination était fondée. E. X._ forme auprès du Tribunal fédéral un recours constitutionnel subsidiaire contre cet arrêt. Il conclut, avec suite de dépens, à l'annulation de la décision prononçant son élimination de l'IHEID et à l'autorisation de se présenter une quatrième fois à l'examen oral CORI. A titre subsidiaire, il demande au Tribunal fédéral de renvoyer la cause à l'instance cantonale pour qu'elle procède à l'audition du Docteur B._ et du Directeur de la Clinique du Centre de conseil psychologique de l'Université de Genève, M. C._. Le Tribunal administratif se réfère aux considérants et au dispositif de son arrêt et le Directeur de l'IHEID conclut au rejet du recours, dans la mesure de sa recevabilité.