Faits:
A. Le 15 janvier 2008, X._ a été inculpé d'escroquerie et de tentative d'escroquerie. Par ordonnance du 21 avril 2010, la Chambre d'accusation genevoise a prononcé un non-lieu en sa faveur. Cette décision a été confirmée par la Cour de cassation genevoise le 2 novembre 2010.
Le 1er juin 2012, X._ a saisi le Tribunal d'application des peines et des mesures du canton de Genève (TAPEM) d'une requête en indemnisation, concluant après réduction de ses prétentions à l'allocation de 34'986 fr. 02 plus intérêt à 5 % l'an dès le 21 avril 2010, montant correspondant à ses frais de défense.
Par jugement du 27 juillet 2012, le TAPEM a jugé la requête irrecevable.
B. Par arrêt du 12 octobre 2012, la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève a rejeté le recours de X._. En bref, elle a considéré que ses prétentions en réparation du dommage relatif aux frais de défense étaient régies par l'ancien code de procédure pénale genevois (CPP/GE) et non par le CPP et que l'action entreprise par X._ était tardive dès lors que le délai de péremption de l'<ref-law>/GE était échu.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, sous suite de dépens, à sa réforme en ce sens que l'Etat de Genève est condamné à lui verser 34'986 fr. 02 plus intérêt à 5 % dès le 21 avril 2010.
La cour cantonale et le ministère public concluent au rejet du recours.

Considérant en droit:
1. Le recourant se réfère en particulier à l'arrêt publié aux <ref-ruling> consid. 1.2 p. 354 s. et aux arrêts 6B_428/2011 du 21 novembre 2011 consid. 2.2.2 et 6B_618/2011 consid. 1.2.1 du 22 mars 2012. Il soutient que ses prétentions en indemnisation pour les frais de défense qu'il a dû engager dans la procédure pénale qui a abouti à un non-lieu sont régies par l'<ref-law> et non par les anciennes règles de procédure pénale cantonale qui ont été appliquées par la cour cantonale.
1.1 L'arrêt publié aux <ref-ruling> traite d'une question de droit transitoire pour une demande d'indemnisation, qui était pendante au moment de l'entrée en vigueur du CPP et qui portait sur des frais de défense (dépens) et le dommage subi à raison de matériel séquestré et détruit. Dans une telle configuration, le Tribunal fédéral a jugé que la question des frais de défense était régie par l'<ref-law> et celle du matériel détruit par l'<ref-law>.
L'arrêt 6B_428/2011 concerne aussi une procédure d'indemnisation pendante au moment de l'entrée en vigueur du CPP. Le Tribunal fédéral a jugé en substance que les prétentions en réparation du dommage liées à une procédure pénale qui s'était déroulée avant l'entrée en vigueur du CPP étaient régies par le droit matériel cantonal et non par le CPP.
Enfin, dans l'arrêt 6B_618/2011, le Tribunal fédéral concilie les approches suivies dans les deux arrêts antérieurs précités, soit l'<ref-ruling> et l'arrêt 6B_428/2011. D'une part, il confirme aux consid. 1.2.1 et 1.2.2 la solution de l'<ref-ruling> selon laquelle l'indemnisation des frais de défense est directement régie par l'<ref-law> (le CPP s'appliquant de même directement dans la situation spécifique visée par l'<ref-law>). D'autre part, il reprend la solution de l'arrêt 6B_428/2011 en considérant que les autres prétentions en réparation du dommage subi à raison d'une procédure pénale achevée avant l'entrée en vigueur du CPP restent quant à elles soumises au droit matériel cantonal applicable au moment de la procédure pénale.
1.2 Il ressort ainsi de l'arrêt publié aux <ref-ruling> et de l'arrêt 6B_618/2011 (cf. aussi arrêt 6B_169/2012 du 25 juin 2012 consid. 2 in fine) que l'indemnisation des frais de défense est directement régie par l'<ref-law>. Il n'y a pas lieu de revenir sur cette jurisprudence. C'est dès lors à tort que la cour cantonale a appliqué le droit cantonal à l'indemnisation des frais de défense. Le recours est bien fondé, l'arrêt attaqué doit être annulé et la cause renvoyée à l'autorité cantonale pour qu'elle reprenne la procédure et applique l'<ref-law>.
2. Vu l'issue de la procédure, il ne sera pas perçu de frais (<ref-law>) et le canton de Genève versera au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2. Il n'est pas perçu de frais judiciaires.
3. Le canton de Genève versera au recourant une indemnité de 3'000 fr. pour la procédure devant le Tribunal fédéral.
4. Le présent arrêt est communiqué aux parties et à la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève.
Lausanne, le 4 février 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod