Faits : A. X._, né en 1977, a commencé, à la rentrée académique 2005, des études en lettres auprès de l'Université de Genève. Il a passé son baccalauréat (bachelor) en 2009 et a poursuivi son cursus dans le but de passer un master en histoire. Parallèlement, il s'est inscrit à l'Institut universitaire de formation des enseignants de la République et canton de Genève (ci-après: l'Institut) pour le semestre 2010-2011 afin d'y obtenir un certificat complémentaire de base en didactique de la discipline et en sciences de l'éducation. Il a présenté et réussi deux examens en février 2011. Il a passé les matières restantes pour l'obtention du certificat en juin 2011 et obtenu les crédits y relatifs sauf dans une matière, soit le cours intitulé "Histoire - Didactique de la discipline: discipline de référence et discipline scolaire" (ci-après: "Didactique de la discipline"), où la note obtenue (3,5) était insuffisante; la présentation orale de X._ pour cet examen portait sur les "Origines de la Suisse". Après avoir été inscrit automatiquement ("par défaut") à l'examen "Didactique de la discipline" par l'Institut pour la session de rattrapage d'août 2011, X._ l'a informé, le 10 août 2011, qu'il désirait se désinscrire et se présenter lors de la session suivante, ce que l'Institut a accepté. Par courrier du 24 novembre 2011, la conseillère aux études de l'Institut a informé le recourant qu'il était inscrit par défaut pour l'année académique 2011-2012, notamment pour le cours annuel "Didactique de la discipline". Le recourant a écrit, le 11 mai 2012, au Professeur A._ en charge dudit cours pour savoir s'il pouvait encore s'inscrire pour présenter sa "séquence sur les Origines de la Suisse, et passer son oral le mercredi 30 mai 2012". Dans un courriel du 15 mai 2012, après s'être étonné de ce que X._ le contacte fort tardivement, le professeur a fixé une date fin mai 2012 et lui a imposé une autre "séquence d'apprentissage", soit un autre sujet que les "Origines de la Suisse" que X._ avait présenté en juin 2011. Celui-ci a obtenu la note de 3, selon le procès-verbal du 22 juin 2012. Le 25 juillet 2012, l'Institut a prononcé l'élimination de X._ en raison de son second échec en "Didactique de la discipline". Par décision sur opposition du 18 septembre 2013, le directeur de l'Institut a confirmé l'élimination. Aucun vice de forme n'apparaissait dans la procédure d'évaluation et le directeur n'avait aucune raison de douter de la compétence et de l'impartialité du Professeur A._. B. La Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a, par arrêt du 2 septembre 2014, partiellement admis le recours de X._, en tant que le principe de célérité avait été violé, et a rejeté le recours pour le surplus. Elle a en substance jugé que X._, en ne contactant le Professeur A._ que le 11 mai 2012 pour la session de rattrapage et en soutenant qu'il était en droit de présenter un sujet identique à celui déjà présenté en juin 2011 et prévu pour la session de rattrapage d'août 2011, soit les "Origines de la Suisse", avait adopté un comportement téméraire; conformément au principe de la bonne foi, après qu'il eut annulé son inscription pour la session de rattrapage d'août 2011, X._ aurait dû interpeller le Professeur A._ quant à sa situation. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 2 septembre 2014 de la Cour de justice et de renvoyer la cause à cette autorité afin qu'elle statue dans le sens des considérants. L'Université de Genève demande la confirmation de l'arrêt attaqué. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Institut n'a pas déposé d'observations. Le recourant s'est encore prononcé par écriture du 12 janvier 2014 (recte: 2015).