Faits: A. A.a Le 6 avril 2010, X._ a été interpellé à A._, dans le canton de Genève, en possession d'un téléphone portable qui avait été déclaré volé le 20 janvier 2010 à B._, dans le canton de Vaud. Après avoir été interrogé, il a été remis aux autorités vaudoises dans le cadre de la procédure qu'elles avaient ouvertes à la suite du vol du téléphone portable précité. A.b Par ordonnance de condamnation du 22 avril 2010, X._ a été reconnu coupable de recel par le Ministère public du canton de Genève, qui l'a condamné à une peine pécuniaire de 20 jours-amende à 30 francs le jour, avec sursis pendant trois ans, sous déduction d'un jour-amende correspondant à un jour de détention subi avant jugement. L'intéressé a fait opposition à cette ordonnance de condamnation. A.c Aux termes de l'ordonnance du Juge d'instruction de l'arrondissement de l'Est vaudois du 5 août 2010, X._ a bénéficié d'un non-lieu dans le cadre de la procédure ouverte dans le canton de Vaud. L'enquête avait permis d'établir que l'auteur du vol du téléphone portable était un tiers. Il était en outre indiqué que X._ s'était uniquement rendu coupable de recel. Celui-ci avait toutefois été condamné à ce titre le 22 avril 2010 par les autorités genevoises et il ne pouvait donc être condamné une seconde fois en vertu du principe ne bis in idem. B. Par jugement du Tribunal de police de la République et canton de Genève du 24 mai 2011, rendu sur opposition de X._ à l'ordonnance de condamnation du 22 avril 2010, celui-ci a été reconnu coupable de recel (art. 160 CP) et a été condamné à une peine pécuniaire de 20 jours-amende à 30 francs le jour, sous déduction de la détention avant jugement, avec sursis et délai d'épreuve de 3 ans. C. Sur appel du condamné, la Chambre pénale d'appel et de révision de la Cour de justice de Genève a annulé cette décision par arrêt du 2 février 2012. Elle a reconnu X._ coupable de recel d'importance mineure (art. 160 ch. 1 et 172ter CP) et l'a condamné à une amende de 300 francs, la peine privative de liberté de substitution en cas de non-paiement fautif de cette amende étant de 3 jours. D. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut à l'annulation de la décision entreprise, à son acquittement et au renvoi de la cause à l'autorité cantonale afin qu'elle statue sur ses prétentions en indemnisation pour la détention qu'il indique avoir subie de manière injustifiée pendant 9 jours dans le cadre des procédures diligentées dans les cantons de Genève et Vaud. Il sollicite en outre l'octroi de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.