Faits:
A. Par jugement du 12 juin 2009, le Tribunal de police de Genève a condamné X._ pour faux dans les titres à une peine privative de liberté de trois mois avec sursis pendant un délai d'épreuve de cinq ans, peine complémentaire à celle prononcée le 21 décembre 2006 par la Cour de justice du canton de Genève.
B. Statuant le 9 mai 2011, la Cour de justice a admis partiellement l'appel du condamné et a modifié le jugement attaqué en ce sens qu'elle a fixé la peine à 90 jours-amende de 20 fr. chacun, avec sursis pendant quatre ans.
C. Cette autorité s'est fondée en substance sur les faits suivants.
C.a Le 22 décembre 2004, X._ a fait notifier à B._ un commandement de payer d'un montant de 49'000 fr. pour deux prêts de 25'000 fr. et 24'000 fr. datés respectivement des 21 et 30 janvier 2003.
Lors d'une audience du 2 novembre 2005 tenue devant le Tribunal de première instance de Genève statuant sur une demande en annulation de la poursuite, X._ a déposé une reconnaissance de dette en sa faveur d'un montant de 49'000 fr. datée du 30 janvier 2003. Il avait établi ce document lui-même et contrefait la signature de B._.
C.b Au cours de la procédure pénale qui a conduit à l'arrêt du 21 décembre 2006 (cf. let. A), X._ a produit, à l'audience de jugement tenue par le Tribunal de police le 14 juin 2006, une copie d'une reconnaissance de dette en sa faveur datée du 17 janvier 2003 et portant sur un montant de 4'000 fr. Il avait imité sur ce document la signature de A._ qui apparaissait ainsi comme son débiteur.
D. X._ interjette un recours en matière pénale contre l'arrêt cantonal. Il conclut principalement à son acquittement. Subsidiairement, il demande l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité précédente pour nouveau jugement.
Il sollicite aussi l'assistance judiciaire pour la procédure fédérale.
Considérant en droit:
1. Le recourant estime que la cour cantonale a constaté les faits en violation du principe in dubio pro reo et de l'interdiction de l'arbitraire.
1.1 Le Tribunal fédéral est un juge du droit. Il ne peut revoir les faits établis par l'autorité précédente que s'ils l'ont été en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire (ATF 133 II 249 consid. 1.2.2). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque la décision est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (ATF 137 I 58 consid. 4.1.2 et les réf. citées).
Le grief d'arbitraire doit être invoqué et motivé de manière précise (art. 106 al. 2 LTF). Le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (ATF 133 IV 286). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (ATF 137 IV 1 consid. 4.2.3 p. 5).
1.2 Dans la mesure où, comme en l'espèce, le recourant invoque le principe in dubio pro reo comme règle de l'appréciation des preuves, son grief n'a pas de portée plus large que l'interdiction de l'arbitraire (ATF 127 I 38 consid. 2a p. 41).
1.3 Le recourant reproche à la cour cantonale d'avoir retenu de manière insoutenable qu'il était le signataire des reconnaissances de dette des 17 et 30 janvier 2003.
L'autorité précédente a fondé sa conviction sur les éléments suivants :
En ce qui concerne la signature du 30 janvier 2003, elle a d'abord observé qu'elle ne correspondait pas à la signature figurant sur les documents officiels de B._. Ensuite, elle a constaté que le recourant avait manipulé C._ en promettant de lui verser 7000 fr. en échange d'un témoignage dans la présente cause. Ce témoin avait signé devant le notaire un document attestant faussement que le recourant avait remis en sa présence le montant de 25'000 fr. à B._ le 21 janvier 2003. Par ailleurs, les magistrats cantonaux ont relevé que les déclarations du recourant étaient contradictoires. Il avait en effet d'abord affirmé devant la police que, lors de la signature de la reconnaissance de dette, il était accompagné d'un témoin, D._, alors que, devant le juge d'instruction, il avait prétendu qu'était également présent E._. Enfin, les juges ont considéré que les déclarations de D._, qui confirmait avoir assisté à la signature par B._ du document litigieux, n'étaient pas crédibles. En effet, elles étaient contradictoires au sujet du déroulement des emprunts; le témoin avait déjà menti en prétendant avoir été présent lors de la signature d'autres reconnaissances de dette établies en faveur de X._ et qui s'étaient révélées fausses; de surcroît, il avait fait l'objet de pressions de la part du recourant pour venir témoigner.
S'agissant de la reconnaissance de dette du 17 janvier 2003, la cour cantonale a constaté en premier lieu que le recourant avait déjà dans le passé préparé de faux documents qu'il avait attribués à A._. Par ailleurs, on ne pouvait prêter foi à ses déclarations car il avait affirmé avoir remis l'original de cette reconnaissance de dette à un agent de police, ce que l'intéressé avait catégoriquement nié. Ensuite, les magistrats ont estimé que le retrait par le recourant d'un montant de 43'200 euros en date du 11 janvier 2003 ne suffisait pas à étayer sa version des faits. Enfin, le témoignage de D._, qui avait soutenu avoir vu A._ signer la reconnaissance de dette du 17 janvier 2003, a été jugé non fiable pour les raisons évoquées au paragraphe précédent.
1.4 Le recourant prétend qu'il était insoutenable d'interpréter comme élément à charge les disparités entre la signature figurant sur la reconnaissance de dette du 30 janvier 2003 et la signature apposée sur les documents officiels de B._.
On ne décèle aucun arbitraire dans la déduction de la cour cantonale. Dès lors que les différences entre les signatures apparaissaient de manière flagrante, il était légitime que les soupçons se portent sur le recourant. En effet, celui-ci a déposé devant le Tribunal de première instance la reconnaissance de dette, il a reconnu l'avoir rédigée et, surtout, il en est l'unique bénéficiaire.
1.5 Selon le recourant, l'autorité précédente ne pouvait rien tirer en sa défaveur des déclarations contradictoires de C._. Il affirme que, puisque le témoin ne maîtrisait guère le français, il était difficilement imaginable qu'il signe devant le notaire un document qu'il ne pouvait comprendre et retrouve ensuite B._ pour lui avouer son forfait, ce qui constitue une démarche plutôt rare de la part d'un complice d'une infraction .
Par ces arguments, le recourant ne fait que développer de manière appellatoire son appréciation du témoignage. Au surplus, on ne discerne pas, au vu de son argumentation largement fondée sur des faits nouveaux et donc inadmissibles (art. 99 al. 1 LTF), en quoi C._ s'est contredit. En tout état de cause, il ne démontre pas le caractère insoutenable des déductions de la cour cantonale. Il n'y a dès lors pas lieu d'entrer en matière sur le grief (cf. consid. 1.1 supra; art. 106 al. 2 LTF).
1.6 Le recourant estime que les juges précédents ont écarté de manière arbitraire les propos de D._.
Autant que sa critique est dirigée contre le jugement du Tribunal de police, elle est irrecevable au regard de l'art. 80 al. 1 LTF, seule la décision de dernière instance cantonale pouvant faire l'objet du présent recours.
Lorsqu'il soutient en substance que les juges cantonaux devaient se fier à ce témoin parce que celui-ci n'a jamais été condamné pour faux témoignage, le recourant perd de vue qu'en vertu du principe de la libre appréciation des preuves, le juge du fait n'est tenu par aucune preuve et apprécie librement la valeur des éléments qui lui sont soumis (GÉRARD PIQUEREZ, Traité de procédure pénale suisse, 2ème éd., 2006, n. 709). Que D._ n'ait encouru aucune condamnation pour faux témoignage ne suffit pas à démontrer que les magistrats auraient arbitrairement écarté sa version des faits. En outre, contrairement à l'avis du recourant, il n'est pas insoutenable de considérer que des déclarations contradictoires parlent en défaveur de la crédibilité d'une déposition (ALFRED BÜHLER, Die Beweiswürdigung, in: Der Beweis im Zivilprozess, 2000, p. 71 ss, 86: PETER SCHUMACHER, Die Würdigung von Zeugen- und Parteiaussagen in: PJA 2000 p. 1451 ss, 1459).
Le recourant semble encore s'en prendre à la constatation selon laquelle le témoin avait déjà menti en relation avec des reconnaissances de dette prétendument signées par A._. Or, il ne soutient pas, en conformité des exigences légales de motivation (cf. consid. 1.1 supra; art. 106 al. 2 LTF), qu'une telle constatation serait manifestement inexacte au sens de l'art. 97 al. 1 LTF.
Enfin, il n'était pas arbitraire de retenir que les contacts du recourant avant l'audience avec le témoin constituaient une pression.
En définitive, on ne saurait reprocher à la cour cantonale d'avoir apprécié les déclarations de D._ de manière insoutenable.
2. En conclusion, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, la requête d'assistance judiciaire doit également être rejetée (art. 64 al. 1 LTF). Le recourant, qui succombe, devra supporter les frais (art. 66 al. 1 LTF), dont le montant sera arrêté en tenant compte de sa situation financière.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale.
Lausanne, le 5 octobre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
La Greffière: Rey-Mermet