Faits:
A. Par jugement du 3 mai 2011, le Tribunal d'application des peines et des mesures du canton de Genève a condamné l'Etat de Genève à verser à X._ la somme de 3'800 fr. avec intérêt à 5 % l'an dès le 5 février 2010 à titre de réparation du tort moral pour détention injustifiée ainsi qu'une indemnité de procédure de 500 fr. valant participation aux honoraires de son avocat.
Statuant sur l'appel de X._, la Chambre pénale d'appel et de révision de la Cour de justice genevoise l'a partiellement admis par arrêt du 20 décembre 2011, a condamné l'Etat de Genève à verser au recourant la somme de 5'000 fr. avec intérêt à 5 % l'an dès le 5 février 2010 en indemnisation de son tort moral, ainsi que la somme de 800 fr. à titre de dépens d'appel. Elle a confirmé le jugement pour le surplus.
B. X._ forme un recours en matière pénale contre cet arrêt et conclut à son annulation et à sa réforme en ce sens qu'une indemnité de 45'945 fr. 20 avec intérêts à 5 % l'an dès le 5 février 2010 lui est allouée au titre de l'indemnisation de ses frais de défense. Il sollicite par ailleurs l'assistance judiciaire.
Des déterminations n'ont pas été requises.

Considérant en droit:
1. Le recourant invoque une violation des art. 8 Cst. et 429 al. 1 let. a CPP.
1.1 Dans la mesure où le recourant invoque une inégalité de traitement en référence à l'art. 8 Cst., il se borne à émettre des considérations générales sans dire en quoi le cas concret serait incompatible avec cette disposition. Son argumentation est insuffisante au regard des exigences de motivation accrues de l'<ref-law> et est par conséquent irrecevable.
1.2 L'<ref-law> prévoit que si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Cette disposition s'applique aux voies de recours (y inclus l'appel) en vertu de l'<ref-law>. L'<ref-law> spécifie en outre pour la procédure de recours que si ni un acquittement total ou partiel, ni un classement de la procédure ne sont prononcés mais que le prévenu obtient gain de cause sur d'autres points, il a droit à une juste indemnité pour ses dépenses.
Le recourant se réfère à quelques arrêts antérieurs au 1er janvier 2011, notamment l'arrêt publié aux <ref-ruling>. Cette jurisprudence concerne l'interprétation sous l'angle de l'arbitraire d'anciennes dispositions de procédure cantonale et n'est pas déterminante pour l'analyse du CPP.
L'indemnité selon les art. 429 al. 1 let. a et 436 al. 2 CPP concerne les dépenses du prévenu pour un avocat de choix (cf. STEFAN WEHRENBERG / IRENE BERNHARD, in: Basler Kommentar StPO, 2011, n. 12 ad <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, n. 7 ad <ref-law>; YVONA GRIESSER, in: Kommentar zur StPO, Donatsch/Hansjakob/Lieber (éd.), 2010, n. 4 ad <ref-law>).
En l'espèce, le recourant invoque des frais de défense à hauteur de quelque 45'000 francs. Cependant, il ressort de la procédure qu'il n'a pas été défendu par un avocat de choix mais a bénéficié de l'assistance judiciaire pour la procédure cantonale et par ce biais d'un défenseur d'office. Les frais imputables à la défense d'office font partie des frais de procédure (cf. <ref-law>), le prévenu n'ayant toutefois en principe pas à supporter les frais afférents à la défense d'office (cf. <ref-law>). Il apparaît dès lors que le recourant n'a pas lui-même supporté de dépenses relatives à un avocat de choix. Il ne saurait donc prétendre à une indemnité à ce titre, les conditions de l'<ref-law> n'étant pas réalisées.
Le recourant fait valoir que si sa situation financière devait le permettre, il serait exposé à l'avenir à devoir rembourser à l'Etat les frais d'honoraires pour la défense d'office et à payer à son avocat la différence entre l'indemnité de défenseur d'office et les honoraires qu'aurait touché un défenseur privé (cf. <ref-law>). Conformément à la teneur de cette disposition, cette hypothèse n'est susceptible de concerner que le prévenu condamné aux frais de procédure, ce qui ne paraît pas être le cas du recourant. Quoi qu'il en soit, une indemnité selon l'<ref-law> ne saurait, la loi ne prévoyant pas un tel cas de figure, être accordée conditionnellement pour le cas où la situation visée à l'<ref-law> se produirait. Le recourant ne saurait donc prétendre à une indemnité pour ses frais de défense. Son grief est infondé.
2. Bien qu'il soit rejeté dans la mesure où il est recevable, le recours n'apparaissait pas d'emblée voué à l'échec. Il convient dès lors d'admettre la demande d'assistance judiciaire du recourant (<ref-law>), de désigner Me Romain Jordan comme avocat d'office et d'allouer à celui-ci une indemnité à titre d'honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est admise et Me Romain Jordan est désigné comme avocat d'office du recourant.
3. La caisse du Tribunal fédéral versera 1'500 fr. au mandataire du recourant à titre d'honoraires.
4. Il n'est pas prélevé de frais judiciaires.
5. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 16 août 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay