Faits : A. A._, domicilié à Genève, a suivi, du 10 septembre 2008 au 12 juin 2010, les cours préparatoires au brevet fédéral de peintre en automobiles (ci-après : le brevet) délivré par l'Union suisse des carrossiers. Le 19 septembre 2010, le Service cantonal des allocations d'études et d'apprentissage, devenu le Service cantonal des bourses et prêts d'études (ci-après : le Service cantonal des bourses) a accordé à l'intéressé le remboursement de la première moitié de ses taxes semestrielles, à concurrence de 8'470 fr., dès lors qu'il avait échoué lors de sa première tentative aux examens du brevet, en 2010. Il a réussi cet examen et obtenu son diplôme le 18 juillet 2012. Du 2 avril 2011 au 26 juin 2012, A._ a suivi les cours de la maîtrise de carrossier, option peinture, tôlerie, serrurerie. Le 5 septembre 2012, il a sollicité le remboursement du solde de ses frais de formation liés à l'obtention du brevet, à concurrence de 10'870 fr. Cette somme lui a été versée le 3 décembre 2012. Après avoir réussi les examens de la maîtrise, le 4 octobre 2012, A._ a demandé le remboursement des frais de formation y relatifs, par requête du 5 décembre 2012. B. Par décision du 27 février 2013, confirmée par décision sur opposition du 29 avril 2013, le Service cantonal des bourses a refusé le remboursement des frais de formation liés à l'obtention de la maîtrise au motif que la demande était tardive. En effet, l'art. 13 de la loi genevoise sur les bourses et prêts d'études du 17 décembre 2009, entrée en vigueur le 1er juin 2012 (LBPE; RSG C 120), prévoyait que les demandes de bourses ou de prêts devaient être déposées au plus tard six mois après le début de l'année scolaire ou académique. Or, la requête de l'intéressé avait été déposée vingt mois après le début de sa formation et plus de six mois après l'entrée en vigueur de la nouvelle législation. En outre, la requête litigieuse ne pouvait pas être considérée comme une demande en suspens au sens de la disposition transitoire de l'art. 33 al. 3 LBPE réservant l'application de l'ancien droit dans l'hypothèse où il serait plus favorable. Saisie d'un recours dirigé contre la décision sur opposition du Service cantonal des bourses du 29 avril 2013, la Cour de justice du canton de Genève, Chambre administrative, 1ère section (ci-après : la Cour de justice) l'a rejeté, par arrêt du 17 décembre 2013. Elle a considéré que la demande de remboursement présentée par A._ le 5 décembre 2012 était soumise au nouveau droit, soit à la LBPE, conformément à l'art. 33 al. 3 de cette loi, que l'intéressé ne bénéficiait pas d'un droit acquis à être remboursé de ses frais de formation, que la loi genevoise du 21 juin 1985 sur l'orientation, la formation professionnelle et le travail des jeunes gens (LOFP; Recueil des lois 1985 p.385; en vigueur jusqu'au 31 mai 2012), qui ne prévoyait pas de délai pour déposer une demande d'aide financière, n'était pas applicable, qu'il incombait à l'intéressé de respecter le délai de six mois de l'art. 13 LBPE à compter de l'entrée en vigueur de la loi et qu'il ne pouvait pas se prévaloir du principe de la bonne foi entre administration et administré, dès lors que le Service cantonal des bourses n'était pas tenu de l'informer du changement de législation et ne lui avait fourni aucune assurance concernant le remboursement des frais liés à sa formation. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 17 décembre 2013, principalement, de dire qu'il a droit au remboursement de sa formation de carrossier-peintre avec maîtrise, à concurrence de 8'940 fr., subsidiairement, de renvoyer l'affaire à la Cour de justice pour prise de décision dans le sens des considérants, plus subsidiairement encore, de la renvoyer au Service cantonal des bourses. Il se plaint de la violation du principe de non-rétroactivité et de l'application arbitraire des art. 13 et 33 LBPE. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Service cantonal des bourses conclut au rejet du recours.