Faits : A. A.a. Par ordonnance pénale du 27 janvier 2014, le Ministère public du canton de Genève a reconnu X._ coupable d'infraction à l'art. 115 al. 1 let. b LEtr (RS 142.20), pour avoir séjourné sans droit sur le territoire suisse entre le 1er décembre 2013 et le 26 janvier 2014, ainsi que d'infraction à l'art. 19a ch. 1 LStup (RS 812.121), pour avoir détenu 2.3 g de marijuana destinée à sa consommation personnelle. Il l'a condamné à une peine privative de liberté de 90 jours et à une amende de 100 fr., la peine privative de liberté de substitution étant de 3 jours. L'opposition à cette ordonnance, formée le 14 février 2014, a été jugée tardive, de sorte que cette dernière est entrée en force. A.b. Statuant le 3 décembre 2015 sur opposition à une ordonnance pénale du 11 février 2014, le Tribunal de police genevois a acquitté X._ de la prévention de séjour illégal pour la période du 28 janvier au 10 février 2014. B. Le 25 janvier 2016, X._ a saisi la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève d'une demande de révision de l'ordonnance pénale du 27 janvier 2014 et sollicité son acquittement du chef d'infraction à l'art. 115 al. 1 let. b LEtr. C. Par arrêt du 24 mars 2016, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a déclaré la demande de révision irrecevable. D. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour qu'elle statue sur sa demande de révision.