Faits:
A. Par arrêt du 2 mai 2012, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a notamment rejeté l'appel formé par X._ en tant qu'il tendait à l'allocation d'une indemnité de 41'120 fr. 45 pour ses frais de défense selon l'art. 429 al. 1 let. a CPP.
B. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, sous suite de dépens, à sa réforme en ce sens que l'Etat de Genève est condamné à lui verser une indemnité pour ses frais de défense de 41'120 fr. 45 avec intérêt à 5 % l'an dès le 1er septembre 2011. Il sollicite par ailleurs l'assistance judiciaire.
Des déterminations n'ont pas été requises.

Considérant en droit:
1. Le recourant invoque une violation des art. 8 et 9 Cst. et 429 al. 1 let. a CPP.
1.1 Dans la mesure où le recourant invoque une inégalité de traitement et l'arbitraire en référence aux art. 8 et 9 Cst., il se borne à émettre des considérations générales sans dire en quoi le cas concret serait incompatible avec ces dispositions. Son argumentation est insuffisante au regard des exigences de motivation accrues de l'art. 106 al. 2 LTF et est par conséquent irrecevable.
1.2 L'art. 429 al. 1 let. a CPP prévoit que si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Cette disposition s'applique aux voies de recours (y inclus l'appel) en vertu de l'art. 436 al. 1 CPP. L'art. 436 al. 2 CPP spécifie en outre pour la procédure de recours que si ni un acquittement total ou partiel, ni un classement de la procédure ne sont prononcés mais que le prévenu obtient gain de cause sur d'autres points, il a droit à une juste indemnité pour ses dépenses.
Le recourant se réfère à quelques arrêts antérieurs au 1er janvier 2011, notamment l'arrêt publié aux <ref-ruling>. Cette jurisprudence concerne l'interprétation sous l'angle de l'arbitraire d'anciennes dispositions de procédure cantonale et n'est pas déterminante pour l'analyse du CPP.
Dans un récent arrêt de principe, auquel il est renvoyé et qui concernait d'ailleurs également le recourant, le Tribunal fédéral a jugé que l'indemnité selon les art. 429 al. 1 let. a et 436 al. 2 CPP vise uniquement les dépenses du prévenu pour un avocat de choix et que le prévenu défendu par un avocat d'office ne saurait prétendre à une telle indemnité (cf. arrêt 6B_753/2011 du 14 août 2012 consid. 1 destiné à la publication; cf. aussi arrêt 6B_144/2012 du 16 août 2012).
En l'espèce, il ressort de la procédure que le recourant n'a pas été défendu par un avocat de choix mais a bénéficié de l'assistance judiciaire pour la procédure cantonale et par ce biais d'un défenseur d'office. Il apparaît dès lors que le recourant n'a pas lui-même supporté de dépenses relatives à un avocat de choix. Il ne saurait donc prétendre à une indemnité à ce titre, les conditions de l'art. 429 al. 1 let. a CPP n'étant pas réalisées. En outre, contrairement à ce qu'indique le recourant et comme déjà exposé dans l'arrêt 6B_753/2011 précité, l'hypothèse de remboursement prévue à l'art. 135 al. 4 CPP n'est pas déterminante. Conformément à la teneur de cette disposition, cette hypothèse n'est susceptible de concerner que le prévenu condamné aux frais de procédure, ce qui ne paraît pas être le cas du recourant, et une indemnité selon l'art. 429 al. 1 let. a CPP ne saurait, la loi ne prévoyant pas un tel cas de figure, être accordée conditionnellement pour le cas où la situation visée à l'art. 135 al. 4 CPP se produirait.
Le recourant ne saurait donc prétendre à une indemnité pour ses frais de défense. Son grief est infondé.
2. Le recours doit être rejeté dans la mesure où il est recevable. L'assistance judiciaire avait été accordée au recourant dans la cause 6B_753/2011 précitée. Dès lors que cet arrêt de principe est postérieur au dépôt du recours dans la présente affaire, il y a lieu de mettre le recourant au bénéfice de l'assistance judiciaire (art. 64 al. 1 LTF), de désigner Me Romain Jordan comme avocat d'office et d'allouer à celui-ci une indemnité à titre d'honoraires, qui seront supportés par la caisse du Tribunal fédéral (art. 64 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est admise et Me Romain Jordan est désigné comme avocat d'office du recourant.
3. La caisse du Tribunal fédéral versera 1'500 fr. au mandataire du recourant à titre d'honoraires.
4. Il n'est pas prélevé de frais judiciaires.
5. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 10 septembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay