Faits : A. Le 23 avril 2014, A._, né en mai 1990, a été entendu par la police en qualité de témoin dans le cadre d'une procédure pénale. A cette occasion, il a reçu la formule "Droits et obligations de la personne appelée à donner des renseignements - partie plaignante, victime, lésé, tiers touché par la procédure", ainsi que la formule "Information à l'intention des victimes d'infractions". Au cours de cette audition, il a révélé avoir subi, dès l'âge de 14 ans environ, divers actes d'ordre sexuel répétés et abus sexuels de la part d'un voisin chez qui il allait manger les midis. Par courrier du 26 mai 2014, sous la plume de son conseil, A._ a saisi l'instance genevoise d'indemnisation de la loi fédérale du 23 mars 2007 sur l'aide aux victimes d'infractions (loi sur l'aide aux victimes, LAVI; RS 312.5) dans le but d'interrompre le délai de prescription, tout en se réservant le droit de chiffrer et compléter sa demande par la suite. Sur demande de l'instance LAVI, le requérant a précisé les circonstances des infractions tout en précisant que, n'ayant pas accès à la procédure et l'instruction pénale ne faisant que commencer, il n'était pas en mesure de transmettre d'autres pièces ni de chiffrer le tort moral qui serait réclamé. Par ordonnance du 11 juillet 2014, l'instance LAVI a déclaré la demande irrecevable, celle-ci ne valant pas, en l'état, requête en indemnisation au sens de la LAVI. Cette décision n'a pas fait l'objet d'un recours. B. Le 17 juillet 2014, par l'intermédiaire de son conseil, A._ a déposé une nouvelle requête en indemnisation auprès de l'instance LAVI. Par ordonnance du 12 septembre 2014, celle-ci a déclaré cette requête irrecevable car tardive. Sur recours de l'intéressé, cette décision a été confirmée par la Chambre administrative de la Cour de justice par arrêt du 6 janvier 2015. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice et de déclarer recevable la requête en indemnisation qu'il a déposée le 17 juillet 2014. La cour cantonale s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Consulté, l'Office fédéral de la justice renonce à prendre position.