Faits :
A.
A._, domicilié à Genève, a suivi, du 10 septembre 2008 au 12 juin 2010, les cours préparatoires au brevet fédéral de peintre en automobiles (ci-après : le brevet) délivré par l'Union suisse des carrossiers. Le 19 septembre 2010, le Service cantonal des allocations d'études et d'apprentissage, devenu le Service cantonal des bourses et prêts d'études (ci-après : le Service cantonal des bourses) a accordé à l'intéressé le remboursement de la première moitié de ses taxes semestrielles, à concurrence de 8'470 fr., dès lors qu'il avait échoué lors de sa première tentative aux examens du brevet, en 2010. Il a réussi cet examen et obtenu son diplôme le 18 juillet 2012.
Du 2 avril 2011 au 26 juin 2012, A._ a suivi les cours de la maîtrise de carrossier, option peinture, tôlerie, serrurerie. Le 5 septembre 2012, il a sollicité le remboursement du solde de ses frais de formation liés à l'obtention du brevet, à concurrence de 10'870 fr. Cette somme lui a été versée le 3 décembre 2012. Après avoir réussi les examens de la maîtrise, le 4 octobre 2012, A._ a demandé le remboursement des frais de formation y relatifs, par requête du 5 décembre 2012.
B.
Par décision du 27 février 2013, confirmée par décision sur opposition du 29 avril 2013, le Service cantonal des bourses a refusé le remboursement des frais de formation liés à l'obtention de la maîtrise au motif que la demande était tardive. En effet, l'art. 13 de la loi genevoise sur les bourses et prêts d'études du 17 décembre 2009, entrée en vigueur le 1er juin 2012 (LBPE; RSG C 120), prévoyait que les demandes de bourses ou de prêts devaient être déposées au plus tard six mois après le début de l'année scolaire ou académique. Or, la requête de l'intéressé avait été déposée vingt mois après le début de sa formation et plus de six mois après l'entrée en vigueur de la nouvelle législation. En outre, la requête litigieuse ne pouvait pas être considérée comme une demande en suspens au sens de la disposition transitoire de l'art. 33 al. 3 LBPE réservant l'application de l'ancien droit dans l'hypothèse où il serait plus favorable.
Saisie d'un recours dirigé contre la décision sur opposition du Service cantonal des bourses du 29 avril 2013, la Cour de justice du canton de Genève, Chambre administrative, 1ère section (ci-après : la Cour de justice) l'a rejeté, par arrêt du 17 décembre 2013. Elle a considéré que la demande de remboursement présentée par A._ le 5 décembre 2012 était soumise au nouveau droit, soit à la LBPE, conformément à l'art. 33 al. 3 de cette loi, que l'intéressé ne bénéficiait pas d'un droit acquis à être remboursé de ses frais de formation, que la loi genevoise du 21 juin 1985 sur l'orientation, la formation professionnelle et le travail des jeunes gens (LOFP; Recueil des lois 1985 p.385; en vigueur jusqu'au 31 mai 2012), qui ne prévoyait pas de délai pour déposer une demande d'aide financière, n'était pas applicable, qu'il incombait à l'intéressé de respecter le délai de six mois de l'art. 13 LBPE à compter de l'entrée en vigueur de la loi et qu'il ne pouvait pas se prévaloir du principe de la bonne foi entre administration et administré, dès lors que le Service cantonal des bourses n'était pas tenu de l'informer du changement de législation et ne lui avait fourni aucune assurance concernant le remboursement des frais liés à sa formation.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 17 décembre 2013, principalement, de dire qu'il a droit au remboursement de sa formation de carrossier-peintre avec maîtrise, à concurrence de 8'940 fr., subsidiairement, de renvoyer l'affaire à la Cour de justice pour prise de décision dans le sens des considérants, plus subsidiairement encore, de la renvoyer au Service cantonal des bourses. Il se plaint de la violation du principe de non-rétroactivité et de l'application arbitraire des art. 13 et 33 LBPE.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Service cantonal des bourses conclut au rejet du recours.

Considérant en droit :
1.
D'après l'art. 83 let. k LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de subventions auxquelles la législation ne donne pas droit.
Le présent recours est dirigé contre une décision fondée sur la LBPE. En vertu de l'art. 10 de cette loi, des bourses et prêts peuvent être octroyés aux personnes qui remplissent les conditions prévues aux art. 10 à 17. Cette disposition confère un droit à l'aide matérielle du canton parce qu'elle en fixe les conditions d'octroi de manière précise sans laisser aux autorités de pouvoir discrétionnaire, de sorte que le présent recours ne tombe pas sous le coup de l'art. 83 let. k LTF.
Déposé en temps utile (<ref-law>) contre un arrêt final pris en dernière instance cantonale, qui ne peut pas être attaqué devant le Tribunal administratif fédéral (art. 86 al. 1 let. d LTF; <ref-law>) par le destinataire de l'arrêt attaqué (<ref-law>), le recours en matière de droit public est en principe recevable pour violation du droit fédéral - qui comprend les droits constitutionnels (cf. <ref-law>) - ainsi que les droits constitutionnels cantonaux (cf. art. 95 let. c LTF).
2.
Sauf dans les cas expressément cités par l'<ref-law>, le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit constitutionnel, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 521 s.). Il appartient toutefois à la partie recourante d'invoquer ce grief et de le motiver d'une manière suffisante (cf. <ref-law>; <ref-ruling> consid. 1.3.1 p. 68). Elle doit donc préciser en quoi l'acte serait arbitraire, ne reposerait sur aucun motif sérieux et objectif, apparaîtrait insoutenable ou heurterait gravement le sens de la justice (<ref-ruling> consid. 3.2 p. 400).
3.
Invoquant le principe de non-rétroactivité de la loi, déductible de l'art. 5 al. 1 Cst., le recourant reproche à la Cour de justice d'avoir retenu que sa demande d'aide matérielle du 5 décembre 2012 était tardive puisqu'il avait débuté sa formation le 2 avril 2011 et que le délai de six mois de l'art. 13 LBPE était largement échu le 5 décembre 2012.
Le recourant relève à juste titre qu'à l'échéance du délai de six mois, soit à la date du 2 octobre 2011, la LBPE n'était pas entrée en vigueur, que la législation alors applicable ne prévoyait pas de délai de prescription ou de péremption pour le dépôt d'une demande d'aide financière et qu'il ne lui incombait pas d'entreprendre une démarche non prévue par la loi.
Il importe donc de déterminer si le recourant pouvait déposer une demande en dehors de tout délai ou si l'entrée en vigueur de la LBPE, le 1er juin 2012, lui imposait une limite d'action dans le temps.
4.
Au titre des dispositions transitoires, l'art. 33 al. 3 LBPE dispose que les demandes et les recours en suspens sont traités conformément au nouveau droit, sauf si l'ancien droit est plus favorable.
4.1. Selon le recourant, la Cour de justice a fait preuve d'arbitraire en refusant de considérer sa demande du 5 décembre 2012 comme une demande en suspens au sens de l'art. 33 al. 3 LBPE. En effet, le législateur avait omis de tenir compte des cas de personnes ayant débuté leur formation avant le 1er juin 2012 et, en présence d'une telle lacune, il incombait à la Cour de justice d'aménager une solution prétorienne conforme au but social de la loi.
4.2. Le grief du recourant se heurte au texte clair de la loi. L'art. 33 al. 3 LBPE réservant l'application de l'ancien droit concerne les personnes ayant déposé une demande d'aide matérielle avant le 1er juin 2012 et qui n'avait pas encore fait l'objet d'une décision à la date d'entrée en vigueur de la loi. Par ailleurs, le législateur n'a pas oublié de tenir compte des personnes ayant débuté leur formation avant le 1er juin 2012. Si tel était le cas, le recourant n'aurait pas perçu, en date du 3 décembre 2012, le remboursement du solde des taxes semestrielles liées à sa formation en vue de l'obtention du brevet, initiée le 10 septembre 2008. Il s'agissait en effet d'une formation entreprise avant l'entrée en vigueur de la LBPE, le 1er juin 2012, achevée postérieurement à cette date par l'obtention du titre convoité le 18 juillet 2012 et ayant fait l'objet d'une demande d'aide financière le 5 septembre 2012.
En l'absence de lacune de la loi, il n'appartenait pas à l'autorité précédente de s'écarter du texte légal pour restreindre, par voie jurisprudentielle, la portée d'une disposition du nouveau droit introduite volontairement par le législateur afin de fixer une limite en matière de délai pour l'obtention de prestations.
Le moyen du recourant tiré d'une application arbitraire de l'art. 33 al. 3 LBPE doit en conséquence être écarté.
5.
Le recourant fait également valoir que la Cour de justice a violé le principe de l'interdiction de l'arbitraire en retenant qu'il lui incombait de déposer sa demande de soutien matériel au plus tard le 31 novembre 2012 (recte : le 30 novembre 2012), soit à l'échéance du délai légal de six mois à compter de l'entrée en vigueur du nouveau droit.
La Cour de justice s'est fondée sur un arrêt du Tribunal fédéral rendu en matière d'assurances sociales, selon lequel la protection des droits acquis exigeait que, lorsque l'ancien droit ne prévoyait pas de délai de prescription ou de péremption, les délais prévus par le nouveau droit commençaient à courir à partir de son entrée en vigueur (<ref-ruling> consid. 3.2 p. 356 s.). Elle a considéré que cette jurisprudence était applicable par analogie au cas du recourant.
Les différentes critiques émises par le recourant à l'encontre de cette application analogique n'emportent pas conviction. En premier lieu, le fait que l'arrêt cité par l'autorité précédente porte sur la responsabilité de l'administrateur d'une société en matière de non-paiement de cotisations sociales n'est pas en soi suffisant pour écarter une application analogique de la solution retenue. En deuxième lieu, l'absence de délai de prescription ou de péremption dans la LOFP - contrairement à la situation prévalant dans l'arrêt du Tribunal fédéral paru aux <ref-ruling> ss - n'est pas déterminant. Dans les deux cas, la question qui se pose est de savoir à partir de quand le délai introduit dans le nouveau droit doit s'appliquer. En troisième lieu, la Cour de justice n'a pas dénié au recourant toute créance à l'encontre du Service cantonal des bourses, mais a considéré qu'il l'avait fait valoir tardivement. En quatrième lieu, il est indifférent que le recourant puisse invoquer ou non un droit acquis. En appliquant par analogie une jurisprudence relative à la protection des droits acquis - alors qu'elle a relevé par ailleurs qu'il ne pouvait pas se prévaloir d'un tel droit -, la Cour de justice a réservé au recourant un traitement favorable. Si le recourant avait bénéficié d'un droit acquis, il aurait dû agir dans le délai de six mois à compter du 1er juin 2012. Il devait a fortiori agir de la sorte en l'absence d'un droit acquis.
C'est donc à tort que le recourant se prévaut d'une application arbitraire de l'art. 13 LBPE et de la violation du principe de non-rétroactivité.
6.
Les considérants qui précèdent conduisent au rejet du recours.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service des bourses et prêts d'études et à la Cour de justice du canton de Genève, Chambre administrative, 1ère section.
Lausanne, le 15 septembre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Thalmann