Faits:
A. Par jugement du 11 août 2011, le Tribunal correctionnel de la République et canton de Genève a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants (<ref-law>), de contraintes sexuelles (<ref-law>), de tentative de viol (art. 22 et 190 al. 1 CP) et de viols (<ref-law>), actes commis au préjudice de l'enfant A._, née le 15 septembre 1994. Il a condamné X._ à une peine privative de liberté de 6 ans, sous déduction de 513 jours de détention avant jugement, et au paiement à A._ d'une indemnité pour tort moral de 30'000 francs ainsi que d'une indemnité en réparation du dommage matériel de 30'607 francs 70.
B. La Chambre pénale d'appel et de révision de la Cour de justice genevoise a confirmé ce jugement par arrêt du 26 mars 2012. Elle s'est fondée sur les principaux éléments de fait suivants.
B.a X._, né en 1970, a été depuis 2002 l'ami intime de la mère de A._. En 2007, alors que la famille habitait au Portugal et que la jeune fille avait douze ans, il a commencé à embrasser celle-ci sur la bouche, puis, au fil du temps, de manière progressive, il l'a déshabillée ou lui a demandé de le faire, il lui a touché les seins et lui a caressé le corps. X._ a également parfois demandé à A._ de le masturber et il lui est arrivé de la pénétrer avec le doigt. Enfin, il a entretenu des relations sexuelles non consenties avec elle. Ces actes se passaient fréquemment, lorsque la mère de l'enfant était absente.
B.b Alors que la mère et les frères et s?urs de A._ étaient partis vivre en Suisse en mars 2009, cette dernière est restée seule au Portugal jusqu'au mois de septembre 2009, d'abord chez sa grand-mère, puis chez son grand-père. Durant cette période, elle s'est rendue à deux reprises dans l'appartement de X._. Celui-ci a tenté de la pénétrer, sans toutefois réussir à aller plus loin.
B.c Le 12 mars 2010, à Meyrin, dans le canton de Genève, X._ et A._ se trouvaient dans l'appartement familial. X._ a tenté de pénétrer la jeune fille contre son gré. Pour faire peur à X._, elle lui a dit que son oncle allait bientôt rentrer et il a cessé ses agissements.
B.d A._ a dénoncé une première fois les agissements du côté de X._ à la police portugaise en décembre 2008, sans qu'il y ait de suite, puis, le 13 mars 2010, à sa cousine et à sa tante qui l'avaient interrogées après avoir entendu parler d'allégations de viol lors d'un séjour au Portugal.
C. X._ forme un recours en matière pénale contre l'arrêt du 26 mars 2012. Il conclut à son annulation et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau dans le sens des considérants. Il sollicite par ailleurs l'octroi de l'assistance juridique.

Considérant en droit:
1. Le recourant conclut à l'annulation du jugement et au renvoi de la cause à l'autorité précédente. Une telle conclusion n'est, en principe, pas suffisante (cf. <ref-ruling> consid. 1.3 p. 383; pour le recours en matière pénale, arrêt 6B_275/2011 du 7 juin 2011 consid. 1.2; 6B_78/2009 du 22 septembre 2009 consid. 7.2.1). Les motifs du recours permettent cependant de comprendre que l'intéressé voudrait être acquitté du chef des infractions dont il a été reconnu coupable. Cela suffit pour répondre aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (cf. <ref-ruling> consid. 2 p. 135).
2. Le recourant invoque une violation du principe de l'interdiction de l'arbitraire dans l'établissement des faits (art. 9 Cst.) et du principe in dubio pro reo (art. 32 al. 1 Cst. et 6 par. 2 CEDH).
2.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si les faits ont été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, voir <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 7 p. 82). Le Tribunal fédéral n'est en effet pas une autorité d'appel. Il n'a pas à procéder à nouveau librement à l'appréciation des preuves ou à la constatation des faits comme le fait l'autorité de première instance (arrêts 6B_118/2009 et 6B_12/2011 du 20 décembre 2011 consid. 7.2.1, non publié in <ref-ruling>). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 4.2 p. 560). Le grief d'arbitraire se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (ATF <ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88).
Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_689/2011 du 1er mars 2012 consid. 1.1; 6B_992/2008 du 5 mars 2009 consid. 1.2).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> c. 5.1 p. 365).
2.2 La cour cantonale a considéré que les déclarations de la jeune fille accusant le recourant étaient crédibles. Celle-ci avait fourni un récit riche de détails quant à la manière dont les faits s'étaient déroulés. Ses déclarations étaient constantes s'agissant des faits essentiels et on ne décelait pas de tendance à exagérer ses propos, ni une volonté de charger le recourant. Elle avait en outre utilisé des expressions propres pour décrire les actes commis. Au fil de ses auditions, elle avait fourni de nouveaux détails et apporté des précisions, les faits n'étant pas décrits de manière rigide et dans le même ordre, comme s'ils avaient été appris par c?ur. Le récit contenait certes des variations. Celles-ci apparaissaient toutefois périphériques et étaient plutôt un signe de sincérité car elles révélaient que la victime n'avait pas répété un récit forgé et récité. Les variations s'expliquaient également, pour les faits qui s'étaient produits en 2007 et 2008, par leur ancienneté, le très jeune âge de l'enfant à l'époque et la répétition des abus dans le temps, ce qui la conduisait à mélanger certains détails.
Les déclarations de l'intimée étaient corroborées par le témoignage de sa s?ur, née en 1989, qui avait également indiqué avoir été la victime d'abus sexuels de la part du recourant. Dans les deux cas, celui-ci avait procédé de la même manière. Les horaires des différents membres de la famille permettaient par ailleurs au recourant de se trouver seul avec l'intimée. Le contexte dans lequel l'intimée s'était confiée à sa cousine et à sa tante le 13 mars 2010 s'expliquait en outre par le fait que ces dernières l'avait interrogée à ce sujet après avoir entendu parler d'allégations de viol lors d'un séjour au Portugal. La dénonciation à la police était quant à elle intervenue à la suite du refus de la mère de l'intimée de l'autoriser à rester chez sa cousine après les événements du 12 mars 2010. De plus, les conclusions de l'expertise pratiquée sur l'hymen de l'intimée n'infirmaient pas les déclarations de celle-ci, les experts ayant indiqué que la localisation des lésions cicatricielles était compatible avec une pénétration, sans toutefois l'attester nécessairement. Même si l'intimée avait assisté à des scènes de violence entre sa mère et le recourant, aucun élément ne laissait transparaître une volonté de vengeance ayant suscité de fausses allégations. En outre, aucun témoin n'avait fait état d'une tendance de l'intimée à mentir ou à exagérer et celle-ci avait même tenu certains propos de nature à alléger les charges contre le recourant. Enfin, le fait que l'intimée n'ait pas développé un état de stress post-traumatique suffisamment important pour être diagnostiqué ne signifiait pas que les événements subis n'avaient pas été traumatisants. Quant au recourant, ses déclarations étaient peu crédibles quant aux circonstances dans lesquelles l'intimée s'était rendue dans son appartement au Portugal ou contredites par celles de la mère de l'intimée quant à ses horaires.
2.3 Le recourant soutient que la cour cantonale n'a pas tenu compte des variations dans le récit de l'intimée.
2.3.1 Il invoque que celles-ci portent sur des faits essentiels, comme le moment où les abus allégués auraient eu lieu. Il n'était pas anodin que l'intimée ait affirmé qu'ils se produisaient l'après-midi pour ensuite indiquer qu'ils avaient lieu le matin.
Le recourant ne critique pas la décision attaquée en tant qu'elle a retenu que les variations dans le récit de l'intimée étaient plutôt un signe de sincérité car elles révélaient que la victime n'avait pas répété un récit forgé et appris par c?ur. Au surplus, la cour cantonale a relevé que l'intimée avait déclaré à la police que les abus qui avaient eu lieu au Portugal se déroulaient l'après-midi à son retour d'école, lorsque sa mère n'était pas là, puis, au Juge d'instruction, qu'ils avaient lieu presque tous les jours de la semaine, le matin après le départ de sa mère ou parfois à d'autres moments de la journée. L'intimée n'a ainsi pas déclaré devant le Juge d'instruction que les abus qu'elle avait subis se déroulaient exclusivement le matin et n'avaient pas lieu l'après-midi. Elle n'est pas revenue sur ses déclarations, contrairement à ce que soutient le recourant, mais elle a donné des précisions sur le moment où les faits se produisaient, ce qui n'est pas de nature à remettre en cause sa crédibilité. Le grief doit être rejeté dans la mesure où il est recevable.
2.3.2 Le recourant soutient qu'il était arbitraire de considérer que les variations dans le récit des événements qui s'étaient produits le 12 mars 2010, soit la veille du jour où l'intimée avait déposé plainte, pouvaient s'expliquer par l'écoulement du temps, le jeune âge de l'intimée ou la répétition des abus dans le temps.
La décision cantonale indique que ces éléments pouvaient expliquer les variations concernant les événements de 2007 et 2008. Elle n'a en revanche pas avancé ceux-ci en relation avec les événements de 2010. Le grief doit être rejeté.
2.3.3 Le recourant fait valoir que l'intimée avait expliqué que les variations dans son récit étaient dues à la mauvaises traduction de l'inspecteur chargé de celle-ci. Or celui-ci avait vécu de nombreuses années au Brésil et parlait parfaitement le portugais.
La décision cantonale ne constate pas que l'intimée aurait invoqué des erreurs de traduction ou que le traducteur aurait vécu au Brésil. Le recourant n'explique cependant pas en quoi l'omission de ces éléments serait de nature à remettre en cause l'appréciation de la cour cantonale quant à la crédibilité de l'intimée, nonobstant l'ensemble des éléments retenus par ailleurs. Le grief est irrecevable.
2.4 Le recourant relève que la Dresse B._ a affirmé lors de l'audience devant le Tribunal correctionnel qu'elle n'avait pas le souvenir que l'intimée lui aurait parlé d'événements qui se seraient déroulés en Suisse.
Autant que le recourant fait valoir de la sorte un grief d'arbitraire dans l'appréciation des preuves, celui-ci est irrecevable faute de toute explication et motivation démontrant en quoi une telle déclaration entamerait la crédibilité de l'intimée (<ref-law>).
2.5 Le recourant soutient que la cour cantonale n'a pas pris en compte des éléments essentiels et qu'elle serait dès lors tombée dans l'arbitraire.
2.5.1 Selon lui, le fait que l'intimée ait dévoilé à sa cousine d'une manière non spontanée les faits du 12 mars 2010, qui s'étaient produits la veille, lors d'un week-end prévu de longue date, relevait d'un hasard étrange. De plus, un témoin avait affirmé que le 12 mars 2010, l'intimée n'était pas différente, ni même bizarre, alors qu'on pouvait imaginer que si les faits qu'elle avait décrits s'étaient produits, elle aurait été choquée.
De la sorte, le recourant ne fait part que de simples appréciations et hypothèses qu'il avance de manière appellatoire, sans que celles-ci ne démontrent d'aucune manière en quoi l'appréciation des preuves par l'autorité cantonale serait arbitraire. Le grief est irrecevable.
2.5.2 Le recourant soutient que la cour cantonale n'a pas tenu compte, en relation avec les événements du 12 mars 2010, du fait que la version de l'intimée était douteuse au motif que, compte tenu de la différence de taille entre les parties et du refus de l'intimée, il lui aurait été impossible de pénétrer celle-ci en étant debout.
Le recourant se fonde de manière irrecevable sur des faits non constatés par l'autorité précédente en affirmant que la différence de taille entre lui et l'intimée, qu'il ne chiffre d'ailleurs pas, serait suffisamment significative pour rendre impossible une pénétration de l'intimée. Au demeurant, la cour cantonale n'a pas retenu qu'il avait pénétré celle-ci, mais uniquement qu'il avait tenté de le faire.
2.6 Le recourant soutient que de nombreuses contradictions dans le récit de l'intimée concernant les événements du 12 mars 2010 démontrent que celui-ci est sujet à caution. Elle reproduit à cet égard différentes citations tirées des auditions de l'intimée.
Ainsi, celle-ci avait d'abord indiqué que le recourant était arrivé à 19h00, puis qu'elle était rentrée vers 18h30 et que le recourant était déjà là. De plus, elle avait déclaré que le recourant l'avait suivie dans sa chambre et lui avait montré son porte-monnaie alors qu'elle avait ensuite indiqué que le recourant était entré dans sa chambre en lui demandant si elle avait vu celui-ci. De même, selon l'intimée, il l'avait embrassée sur la bouche et avait réussi à lui baisser son short, avant d'affirmer qu'il l'avait embrassée par surprise sur la bouche et était ensuite sorti de la chambre pour retourner à la cuisine. Elle avait par ailleurs dit que c'était elle qui préparait le dîner, puis que c'était le recourant. Enfin, elle avait déclaré qu'il avait tenté de la pénétrer puis avait changé de version, disant que, comme elle ne le voulait pas, il lui avait introduit un doigt dans le vagin.
La simple reproduction de certaines déclarations de l'intimée, sans autre explication des raisons pour lesquelles celles-ci remettraient en cause la crédibilité de la jeune fille, n'est pas apte en elle-même à démontrer l'arbitraire de la décision attaquée de manière conforme aux exigences de l'<ref-law>. Au demeurant, les citations invoquées ne démontrent aucune contradiction quant aux éléments essentiels retenus à la charge du recourant pour le reconnaître coupable de tentative de viol pour les faits du 12 mars 2010. Le fait de savoir si le recourant était déjà présent ou pas à la maison lorsque l'intimée était rentrée ce jour-là ou qui préparait le repas n'est pas propre à démontrer qu'il était arbitraire de retenir que le recourant avait tenté de lui imposer une relation sexuelle non consentie dans l'une des chambres de l'appartement familial. L'intimée est par ailleurs restée constante sur le fait que le recourant l'avait d'abord embrassée puis avait tenté de la pénétrer, sans toutefois poursuivre ses actes jusqu'à leur terme. Le fait qu'elle déclare dans un second temps qu'il l'avait ensuite pénétrée avec un doigt n'est en outre pas en contradiction avec ce qui précède, mais constitue une précision sur un élément dont l'importance était secondaire au regard de la tentative de viol. Le grief doit être rejeté dans la mesure où il est recevable.
La simple reproduction de certaines déclarations de l'intimée, sans autre explication des raisons pour lesquelles celles-ci remettraient en cause la crédibilité de la jeune fille, n'est pas apte en elle-même à démontrer l'arbitraire de la décision attaquée de manière conforme aux exigences de l'<ref-law>. Au demeurant, les citations invoquées ne démontrent aucune contradiction quant aux éléments essentiels retenus à la charge du recourant pour le reconnaître coupable de tentative de viol pour les faits du 12 mars 2010. Le fait de savoir si le recourant était déjà présent ou pas à la maison lorsque l'intimée était rentrée ce jour-là ou qui préparait le repas n'est pas propre à démontrer qu'il était arbitraire de retenir que le recourant avait tenté de lui imposer une relation sexuelle non consentie dans l'une des chambres de l'appartement familial. L'intimée est par ailleurs restée constante sur le fait que le recourant l'avait d'abord embrassée puis avait tenté de la pénétrer, sans toutefois poursuivre ses actes jusqu'à leur terme. Le fait qu'elle déclare dans un second temps qu'il l'avait ensuite pénétrée avec un doigt n'est en outre pas en contradiction avec ce qui précède, mais constitue une précision sur un élément dont l'importance était secondaire au regard de la tentative de viol. Le grief doit être rejeté dans la mesure où il est recevable.
2.7 2.7.1 Concernant les faits antérieurs au 12 mars 2010, le recourant critique la décision cantonale en tant qu'elle a retenu que les dires de l'intimée étaient corroborés par ceux de sa s?ur qui avait aussi déclaré avoir été victime d'abus sexuels de sa part. Il invoque que, malgré des similitudes entre les récits, il y avait de grandes différences dont l'autorité cantonale n'avait pas tenu compte. En effet, la s?ur de l'intimée avait expliqué qu'elle avait été menacée au moyen d'un pistolet se trouvant dans sa voiture, dont l'intimée n'avait jamais parlé. En outre, la s?ur de l'intimée ne savait pas s'il y avait eu pénétration, contrairement à celle-ci.
2.7.2 La cour cantonale a indiqué que la s?ur de l'intimée avait aussi déclaré avoir été victime d'abus sexuels de la part du recourant. Dans les deux cas, celui-ci avait procédé de manière progressive, avait tenu des propos amoureux et avait commis les abus au domicile familial, lorsque la mère était absente. Les deux s?urs avaient exposé que le recourant s'arrangeait pour les accompagner en voiture et qu'il retirait son pénis avant d'éjaculer, afin qu'elles ne tombent pas enceintes. Nonobstant les dénégations de leur mère, les deux jeunes filles avaient déclaré de manière constante, tant à la police genevoise qu'au Juge d'instruction, qu'en décembre 2008, à l'occasion d'une intervention policière au domicile portugais, elles avaient révélé les abus subis, ce qui avait été confirmé à la suite d'une commission rogatoire décernée au Portugal.
2.7.3 Le recourant ne critique pas la décision cantonale en tant qu'elle a retenu que les éléments précités permettaient de considérer que les déclarations de l'intimée étaient corroborées par le témoignage de sa s?ur. Il n'invoque à l'appui de son grief que des différences dans le récit des deux s?urs sur des points secondaires. Il n'était pas nécessaire pour que la cour cantonale puisse retenir sans arbitraire que la crédibilité des déclarations de l'intimée étaient renforcée par celles de sa s?ur que l'une et l'autre indiquent dans des termes identiques avoir subi les mêmes sévices sexuels, selon le même scénario. Le simple fait que le recourant a montré à la s?ur de l'intimée un pistolet dont cette dernière n'a pas parlé ne démontre pas encore qu'elles n'ont pas toutes deux subis les actes dénoncés. En outre, le fait que la s?ur de l'intimée déclare qu'elle ne savait pas si le recourant était parvenu à la pénétrer ne remet pas en cause le fait même que ce dernier a eu un comportement à caractère sexuel avec elle. Le grief doit être rejeté dans la mesure où il est recevable.
2.7.3 Le recourant ne critique pas la décision cantonale en tant qu'elle a retenu que les éléments précités permettaient de considérer que les déclarations de l'intimée étaient corroborées par le témoignage de sa s?ur. Il n'invoque à l'appui de son grief que des différences dans le récit des deux s?urs sur des points secondaires. Il n'était pas nécessaire pour que la cour cantonale puisse retenir sans arbitraire que la crédibilité des déclarations de l'intimée étaient renforcée par celles de sa s?ur que l'une et l'autre indiquent dans des termes identiques avoir subi les mêmes sévices sexuels, selon le même scénario. Le simple fait que le recourant a montré à la s?ur de l'intimée un pistolet dont cette dernière n'a pas parlé ne démontre pas encore qu'elles n'ont pas toutes deux subis les actes dénoncés. En outre, le fait que la s?ur de l'intimée déclare qu'elle ne savait pas si le recourant était parvenu à la pénétrer ne remet pas en cause le fait même que ce dernier a eu un comportement à caractère sexuel avec elle. Le grief doit être rejeté dans la mesure où il est recevable.
2.8 2.8.1 Le recourant invoque que la cour cantonale n'avait pas tenu compte du contexte dans lequel les premiers faits avaient été dénoncés, soit après qu'une crise violente avait éclaté entre lui et la mère de l'intimée, qui avait entraîné la venue de la police. Il ressortait de manière constante et notoire de la littérature médicale que de fausses allégations d'enfants surgissent à la suite de conflits de couple. Il n'avait pas davantage été tenu compte des déclarations de la s?ur de l'intimée qui avait avoué à sa tante qu'elle avait porté de fausses accusations contre le recourant afin que sa mère se sépare de lui. Les faits du 12 mars 2010 n'avaient quant à eux pas été révélés spontanément, la cousine de l'intimée lui ayant dit qu'elle était au courant de ce qui s'était passé avec sa s?ur au Portugal.
2.8.2 La cour cantonale a relevé que si l'intimée avait assisté à des scènes de violence entre sa mère et le recourant, il ne ressortait du dossier aucun élément laissant transparaître l'intention d'une vengeance ayant suscité de fausses allégations. Aucun témoin n'avait fait état d'une tendance de l'intimée à mentir ou à exagérer et la plainte déposée par elle avait également conduit à l'inculpation et à la condamnation de sa mère pour violation du devoir d'assistance ou d'éducation (<ref-law>). L'intimée avait exposé de manière constante n'avoir pas été menacée par le recourant, ce qui tendait à démontrer qu'elle avait tenu des propos tendant à alléger les charges contre celui-ci. Enfin, la déclaration de la s?ur de l'intimée à sa tante selon laquelle elle avait menti aux policiers portugais au sujet du viol s'expliquait par le fait qu'elle pouvait ne pas souhaiter en parler, étant précisé qu'elle s'était ensuite mise à pleurer et avait dit avoir été violée par le recourant.
2.8.3 Le recourant invoque de manière appellatoire que les accusations portées à son encontre sont fausses car elles résultent de son conflit avec la mère de l'intimée. La cour cantonale n'a pas ignoré l'existence de ce dernier, mais a considéré qu'aucune volonté de vengeance ne pouvait être décelée chez l'intimée, sans que le recourant ne le conteste. Il ne critique pas davantage la décision attaquée en tant qu'elle considère que les propos de l'intimée ne sont pas outranciers ou qu'il n'est pas établi qu'elle aurait tendance à mentir, autant d'éléments qui renforcent la crédibilité des dires de la jeune fille. Le fait que la littérature médicale relève, de manière générale, que de fausses allégations d'enfants se rencontrent à la suite d'un conflit entre parents n'est par ailleurs pas de nature à démontrer qu'il était arbitraire de retenir que, dans le cas d'espèce, les faits dénoncés étaient véridiques. De plus, le recourant affirme que l'autorité cantonale a "balayé d'un coup de main les aveux" de la s?ur de l'intimée selon lesquelles elle l'avait accusé afin que sa mère se sépare de lui. Il ne démontre pas de la sorte que l'explication fournie à cet égard par la cour cantonale, qui relève par ailleurs que l'intéressée s'était ensuite mise à pleurer et était revenue sur ses explications, confirmant qu'elle s'était fait violée, serait arbitraire. Enfin, le recourant n'explique pas en quoi le fait que la jeune fille a parlé des faits qui se sont produits le 12 mars 2010 après que sa cousine lui eut indiqué avoir entendu parler d'allégations de viol lors d'un séjour au Portugal serait de nature à affecter la crédibilité de ses déclarations. Le grief doit être rejeté dans la mesure où il est recevable.
2.9 Le recourant indique que la cour cantonale s'est fondée sur les flashbacks dont l'intimée avait fait état à la Dresse B._, dont l'intimée n'avait parlé qu'une seule fois et dans lequel elle indiquait qu'elle avait l'impression que le recourant la suivait alors même qu'elle savait qu'il était enfermé. Or, ce flashback était "compatible" que les faits aient eu lieu ou pas. De la sorte, le recourant admet que les flashbacks de l'intimée peuvent être compatibles avec les faits dénoncés.
Au surplus, la cour cantonale a indiqué que le fait que l'intimée n'avait pas développé un état de stress post-traumatique suffisamment important pour être diagnostiqué ne signifiait pas que les événements subis n'avaient pas été traumatisants, la Dresse B._ ayant rapporté que la jeune fille, qui n'avait pas tendance à en rajouter, avait des angoisses et des flashbacks, dont elle ne doutait pas de la véracité. La cour cantonale a dès lors mentionné ces derniers uniquement pour considérer que les événements subis ont été traumatisants. Le recourant ne pouvait donc, en tout état de cause, en tirer aucun argument pour tenter de démontrer que la cour cantonale aurait arbitrairement retenu cet élément comme un indice de la réalité des faits dénoncés.
2.10 En définitive, au vu de l'ensemble des éléments pris en compte par la cour cantonale pour forger sa conviction, à savoir, en particulier, que les déclarations de l'intimée ont été constantes sur les éléments essentiels reprochés au recourant et suffisamment détaillées, que les variations constatées ne portaient que sur des éléments périphériques, que les dires de l'intimée ne révélaient aucune volonté de sa part de se venger ou d'alourdir les charges dirigées contre le recourant, qu'ils étaient corroborés par ceux de sa s?ur et qu'ils n'étaient pas infirmés par l'expertise de l'hymen de la victime, l'autorité précédente n'est pas tombée dans l'arbitraire en retenant que les déclarations de la jeune fille étaient crédibles et que le recourant avait commis les actes qui lui étaient reprochés.
2.11 Enfin, le recourant ne conteste pas qu'eu égard aux faits retenus, les conditions objectives et subjectives des infractions aux <ref-law>, 189 al. 1 CP, 190 al. 1 CP ainsi que 22 et 190 al. 1 CP sont réunies, pas plus que la peine prononcée à son encontre.
3. Le recours est rejeté dans la mesure où il est recevable. Le recourant a requis le bénéfice de l'assistance judiciaire. Comme ses conclusions étaient dépourvues de chances de succès, celle-ci ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 19 septembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
Le Greffier: Rieben