Faits: A. Par décision du 1er juin 2011, considérant qu'il avait obtenu un total de 19,25 points au lieu des 20 points requis, la Commission d'examens des avocats du canton de Genève (ci-après: la Commission d'examens des avocats) a signifié à X._ son deuxième échec aux examens d'avocats. B. Par mémoire du 2 juillet 2011, X._ a interjeté recours auprès du Tribunal administratif du canton de Genève, devenu depuis le 1er janvier 2011, la Chambre administrative de la Cour de justice (ci-après: la Cour de justice). Il a contesté le résultat de l'examen oral du 19 mai 2010 auquel il a obtenu la note de 3,5 et qui portait sur un problème relatif à un contrat d'entreprise. La Commission d'examens des avocats a déposé des observations le 27 juillet 2010 et produit son dossier. Elle a relevé que, dans sa réponse à la première question, le candidat avait confondu deux problèmes distincts, le paiement des honoraires pour le travail effectué, d'une part et d'autre part, l'éventuelle rémunération pour les travaux induits par le changement de plaques, qu'il n'avait jamais traité de manière séparée. Il avait également omis d'aborder la question du dépassement de devis, sa conclusion en qualité de défenseur du sous-traitant consistant à dire à son client que celui-ci ne percevrait pas le solde des 450'000 fr., sans plus de précisions. En réponse à la deuxième question, le candidat n'avait développé aucun des moyens généraux d'action du sous-traitant et ne les avait pas même évoqués. Il avait en revanche abordé correctement les questions relatives aux hypothèques légales, y compris l'inscription provisoire de celles-ci. Il avait obtenu 1,5 point, soit le maximum pour cet aspect de la question. Il était exact qu'il avait exposé les voies de droit au Tribunal fédéral. Enfin, en réponse à la troisième question, le candidat s'était borné à citer la jurisprudence relative au pourcentage relatif au dépassement de devis mais n'avait donné aucune réponse précise aux questions de son mandant, se montrant très vague sur la réduction de prix qui risquait d'être opérée. Les examinateurs avaient dû lui poser plusieurs questions pour l'amener à la conclusion que le sous-traitant pourrait obtenir 415'000 fr. en lieu et place des 450'000 fr. Sur demande du juge délégué, la Commission d'examens des avocats a précisé le nombre de points attribués à chaque question respectivement élément de réponse attendus. Le 15 septembre 2010, dans sa réplique, X._ a versé en cause un avis de droit de Me Y._. Ce dernier a procédé à une analyse de la jurisprudence du Tribunal fédéral et de la doctrine, en relevant que, dans l'ATF 129 III 738, consid. 7.2, essentiellement consacré à des questions de droit international privé, le Tribunal fédéral semblait être revenu, sans vraiment le dire, sur la jurisprudence constante et avoir nouvellement décidé qu'à teneur de l'art. 372 al. 1 CO, le prix de l'ouvrage serait payable au moment de la livraison, que l'ouvrage soit ou non entaché de défauts. Selon Me Y._, cet arrêt était passé relativement inaperçu, même des auteurs ayant rédigé des ouvrages postérieurs à celui-ci ne l'ayant pas mentionné. Le Tribunal fédéral lui-même, semblant ignorer son propre changement de jurisprudence, aurait continué à appliquer celle qui avait prévalu jusqu'alors (arrêt 4A_306/2008 du 9 septembre 2008). L'auteur de l'avis concluait que, de ce fait, le recourant ne pouvait se voir reprocher d'avoir répondu, en se fondant sur la jurisprudence bien établie du Tribunal fédéral, modifiée en catimini par celui-ci et qu'il aurait lui-même ignorée dans les arrêts ultérieurs, en ce sens que le solde du prix d'un ouvrage n'était pas exigible faute pour l'entrepreneur d'avoir livré un objet exempt de défauts, solution jurisprudentielle prévalant jusqu'à l'ATF 129 II 738. C. Par arrêt du 15 février 2011, la Cour de justice a rejeté le recours. Selon elle, deux motifs ont justifié qu'un échec soit opposé au candidat: celui-ci s'était montré confus dans son exposé et avait présenté une argumentation contraire aux intérêts de son client, ajoutant que, par ailleurs, le recourant soulignait lui-même que l'arrêt sur lequel se fondait Me Y._ était un arrêt isolé, puisque, dans une jurisprudence ultérieure, le Tribunal fédéral n'en avait pas tenu compte. D. Agissant par la voie du recours constitutionnel subsidiaire, X._ demande en substance au Tribunal fédéral de constater que la note de l'examen oral est d'au moins 4,25 et de dire qu'il remplit les conditions d'obtention du brevet d'avocat, ce dernier lui étant décerné, subsidiairement de renvoyer la cause pour nouvelle appréciation dans le sens des considérants, plus subsidiairement de pouvoir se représenter à l'examen oral en disant que "ce faisant il n'entamera pas sa troisième tentative". Le recourant se plaint de l'interdiction de l'arbitraire dans l'établissement des faits et dans l'application du droit. La Commission d'examens des avocats conclut au rejet du recours dans la mesure où il est recevable. La Cour de justice persiste dans les considérants et le dispositif de son arrêt.