Faits: A. Par jugement du 12 juin 2009, le Tribunal de police de Genève a condamné X._ pour faux dans les titres à une peine privative de liberté de trois mois avec sursis pendant un délai d'épreuve de cinq ans, peine complémentaire à celle prononcée le 21 décembre 2006 par la Cour de justice du canton de Genève. B. Statuant le 9 mai 2011, la Cour de justice a admis partiellement l'appel du condamné et a modifié le jugement attaqué en ce sens qu'elle a fixé la peine à 90 jours-amende de 20 fr. chacun, avec sursis pendant quatre ans. C. Cette autorité s'est fondée en substance sur les faits suivants. C.a Le 22 décembre 2004, X._ a fait notifier à B._ un commandement de payer d'un montant de 49'000 fr. pour deux prêts de 25'000 fr. et 24'000 fr. datés respectivement des 21 et 30 janvier 2003. Lors d'une audience du 2 novembre 2005 tenue devant le Tribunal de première instance de Genève statuant sur une demande en annulation de la poursuite, X._ a déposé une reconnaissance de dette en sa faveur d'un montant de 49'000 fr. datée du 30 janvier 2003. Il avait établi ce document lui-même et contrefait la signature de B._. C.b Au cours de la procédure pénale qui a conduit à l'arrêt du 21 décembre 2006 (cf. let. A), X._ a produit, à l'audience de jugement tenue par le Tribunal de police le 14 juin 2006, une copie d'une reconnaissance de dette en sa faveur datée du 17 janvier 2003 et portant sur un montant de 4'000 fr. Il avait imité sur ce document la signature de A._ qui apparaissait ainsi comme son débiteur. D. X._ interjette un recours en matière pénale contre l'arrêt cantonal. Il conclut principalement à son acquittement. Subsidiairement, il demande l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité précédente pour nouveau jugement. Il sollicite aussi l'assistance judiciaire pour la procédure fédérale.