Faits:
A. A.a Par arrêt du 20 novembre 2009, la Cour correctionnelle sans jury du canton de Genève a condamné X._ à deux ans de privation de liberté, avec sursis pendant quatre ans, pour viol et contraintes sexuelles commis au préjudice de Y._, respectivement de A._.
A.b Par arrêt du 9 avril 2010, la Cour de cassation du canton de Genève a partiellement admis le pourvoi de X._. En bref, elle a considéré que l'arrêt du 20 novembre 2009 était insuffisamment motivé en ce qui concerne les chefs d'accusation de contraintes sexuelles. Elle a en revanche confirmé la condamnation de X._ pour le viol de Y._. La Cour de cassation a dès lors annulé l'arrêt du 20 novembre 2009, sauf en ce qui concerne l'infraction de viol, et renvoyé la cause à l'autorité de jugement pour nouvelle décision.
A.c Par arrêt 6B_449/2010 du 27 mai 2010, le Tribunal fédéral a déclaré irrecevable le recours interjeté par X._ contre l'arrêt du 9 avril 2010, celui-ci étant une décision incidente ne remplissant pas les conditions de l'<ref-law>.
B. Par arrêt du 15 novembre 2010, la Cour correctionnelle sans jury du canton de Genève a acquitté X._ des préventions de contraintes sexuelles. Elle l'a en revanche condamné pour viol à 22 mois de peine privative de liberté, avec sursis et délai d'épreuve de trois ans.
C. X._ forme un recours en matière pénale contre les arrêts des 9 avril et 15 novembre 2010. Il conclut à l'annulation de ces décisions, en ce qu'elles concernent la condamnation pour viol, à son acquittement de ce chef d'accusation et au renvoi de la cause pour nouvelle décision sur les dépens. Il sollicite également l'octroi de l'assistance judiciaire.
D. Par ordonnance du 17 juin 2011, le Président de la Cour de céans a suspendu l'instruction de la cause du fait du pourvoi cantonal déposé par A._ contre l'arrêt du 15 novembre 2010. Ce pourvoi a été rejeté par arrêt de la Cour de de cassation du canton de Genève du 17 octobre 2011.
Aucun échange d'écritures n'a été ordonné.

Considérant en droit:
1. L'arrêt du 9 avril 2010 constituait une décision incidente non susceptible de recours immédiat. En vertu de l'<ref-law>, le recours est désormais ouvert concernant la culpabilité de viol admise dans cet arrêt.
2. Conformément à l'<ref-law>, le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise. L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.8 p. 494). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.2.3 p. 5).
3. Le recourant estime que la Cour de cassation a commis un déni de justice formel en ne statuant pas sur le grief de violation de l'obligation de motiver formulé contre l'arrêt du 20 novembre 2009 s'agissant de la décision de retenir les déclarations de l'intimée et de ne pas prendre en compte plusieurs imprécisions et variations.
3.1 Commet un déni de justice formel et viole l'art. 29 al. 1 Cst. l'autorité qui ne statue pas ou n'entre pas en matière sur un recours ou un grief qui lui est soumis dans les formes et délai légaux, alors qu'elle était compétente pour le faire (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.3 p. 232).
Le droit d'être entendu impose quant à lui au juge de motiver sa décision, afin que le destinataire puisse en saisir la portée et, le cas échéant, l'attaquer en connaissance de cause. Il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision. Il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à ceux qui lui apparaissent pertinents (<ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.2 p. 236). La motivation peut être implicite et résulter des différents considérants de la décision (arrêt 6B_118/2009 du 20 décembre 2011 consid. 6.1 et arrêt cité).
3.2 La Cour de cassation ne s'est certes pas déterminée expressément sur le grief de violation de l'obligation de motiver soulevé par le recourant. Elle a toutefois repris en détail les motifs exposés par l'autorité de première instance pour justifier sa décision de se fonder, notamment, sur les déclarations de l'intimée, considérées comme constantes et cohérentes malgré quelques divergences (arrêt du 9 avril 2010, p. 5), et les a jugés convaincants (arrêt du 9 avril 2010, ch. 2.5 p. 8 - 9). Ce faisant, elle a implicitement considéré que l'autorité de première instance avait expliqué de manière suffisante sa décision quant à l'appréciation des preuves litigieuses et par là jugé infondé le grief de violation du droit d'être entendu. Le recourant a d'ailleurs très bien compris la motivation de l'autorité de première instance puisqu'il la reprend pour en critiquer la pertinence (recours, p. 8 et 28 ss). Le grief de déni de justice formel est infondé.
4. Le recourant reproche à la Cour de cassation d'avoir violé l'obligation de motiver ses décisions en ne retenant pas un seul des faits invoqués dans le pourvoi en cassation, et ce sans explication ou appréciation des preuves.
A l'appui de son grief, le recourant se contente d'énumérer des faits, qu'il estime ressortir du dossier. Il n'expose toutefois pas en quoi l'un ou l'autre de ces faits aurait été pertinent pour le sort de la cause et aurait par conséquent dû être discuté par la Cour de cassation, dont le pouvoir d'examen quant à l'établissement des faits était limité à l'arbitraire (arrêt du 9 avril 2010, p. 7). Ce faisant, il ne remplit pas les exigences de motivation strictes posées par l'<ref-law>, si bien que son grief est irrecevable. Au demeurant, la Cour de cassation a explicité de manière suffisante pour quels motifs elle estimait qu'il n'était pas arbitraire de fonder la condamnation du recourant pour viol, malgré quelques divergences et imprécisions, sur les déclarations faites par l'intimée en procédure (cf. arrêt du 9 avril 2010, p. 9 et infra consid. 5.3.1). Le grief de violation du droit d'être entendu, consistant en une motivation insuffisante, eût-il été recevable, aurait été infondé.
5. De manière confuse et en s'appuyant sur une interprétation souvent tronquée des pièces au dossier, le recourant se plaint d'arbitraire dans l'appréciation des preuves et la constatation des faits.
5.1 Le Tribunal fédéral statue sur la base des faits retenus par l'arrêt attaqué (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi les critiquer que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.4 p. 5; 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
5.2 A l'appui de son "2ème grief", le recourant énumère une série de faits et soutient, sans autre détail, que la Cour de cassation aurait fait preuve d'arbitraire dans l'établissement des faits en "ne retenant pas", respectivement en "n'exposant pas, sans aucune raison sérieuse et sans motivation, ces éléments de preuve propres à modifier la décision". Une telle motivation ne remplit pas les exigences posées par l'<ref-law>. Le moyen est irrecevable.
5.3 Le recourant estime ensuite qu'il était arbitraire de le considérer comme coupable de viol sur la personne de l'intimée. Selon lui, l'appréciation de "l'ensemble des éléments du dossier aurait dû conduire à l'existence d'un doute quant à la réalisation de cette infraction" (recours, ch. 1 p. 28).
5.3.1 La Cour de cassation a estimé que l'appréciation des preuves et l'établissement des faits opérés par l'autorité de première instance n'étaient pas arbitraires. Celle-ci s'est fondée sur les déclarations faites durant la procédure pénale par l'intimée, déclarations qu'elle a jugées constantes et cohérentes dans les éléments essentiels de la description des faits. Les quelques divergences apparues quant aux dates et à certains détails dans son récit ne supprimaient pas sa crédibilité. Au contraire, elles la renforçaient dès lors qu'il ne pouvait s'agir de versions élaborées de toute pièce. Ces divergences pouvaient de plus s'expliquer par le temps écoulé entre les faits (fin de l'année 2001) et leur dénonciation (octobre 2005). Les accusations de l'intimée étaient en outre corroborées par les témoignages de ses proches et médecins. Ces récits indirects comportaient également de menues variations qui montraient qu'il n'y avait pas eu concertation et qui devaient dès lors être considérés comme crédibles. S'agissant des notes figurant au dossier médical de l'intimée, faisant état d'un employeur dont on pourrait comprendre qu'il serait l'auteur du viol, le médecin consulté - la doctoresse B._ - s'était expliquée, déclarant qu'elle avait pu mal comprendre le récit de l'intimée, l'entretien ayant eu lieu sans interprète et la doctoresse poursuivant un but thérapeutique et non d'investigation. Enfin, la Cour correctionnelle a écarté les déclarations faites dans le cadre de l'enquête diligentée par C._, les conditions d'enquête n'ayant pas été établies (arrêt du 9 avril 2010, p. 5 - 6).
5.3.2 Le recourant oppose à cette appréciation que l'intimée avait déjà révélé le viol à sa s?ur D._ en novembre 2001 et avait constaté un retard de règles, censé intervenir un mois après le viol, le 13 décembre 2001. De tels éléments ne permettaient pas de retenir un viol entre le 20 et le 30 décembre 2001 ou "en décembre 2001".
L'arrêt du 9 avril 2010 (p. 3 let. Ba) retient uniquement que le viol a eu lieu "à la fin de l'année 2001". Le recourant ne démontre pas que la Cour de cassation aurait arbitrairement omis de retenir une période plus précise. Les déclarations qu'il invoque ne rendent pas arbitraire la perpétration d'un viol à la fin de l'année 2001.
Au demeurant, la révélation du viol n'a été faite par l'intimée à sa s?ur D._ qu'en "décembre 2001". Avant cette date, l'intimée n'avait parlé que d'attouchements de la part du recourant et non d'un viol (pièce 200). Quant à la date du 13 décembre 2001, elle a été fournie par l'intimée suite à la lecture devant le juge d'instruction de son dossier médical (pièce 372), dossier dont une des notes indique, après les annotations "retard des règles" et "ln", la date du 13 décembre (pièce 273). Le document en question fait toutefois expressément état d'un viol subi en décembre (pièces 273 et 274). La seule mention par l'intimée de la date du 13 décembre 2001, dans les conditions où cette mention a été faite et au vu des autres déclarations constantes et probantes de l'intimée quant à la perpétration d'un viol par le recourant à "fin 2001" (pièces 2 et 31), "durant les fêtes de Noël 2001" (pièce 372), ne rend pas insoutenable de retenir la commission du viol "à la fin de l'année 2001". Le grief d'arbitraire est infondé.
5.3.3 Le recourant estime que le récit de l'intimée n'était ni constant ni cohérent, si bien qu'il était insoutenable de fonder un verdict de culpabilité sur celui-ci.
L'autorité de première instance a considéré que les quelques divergences constatées dans le récit de l'intimée n'entamaient pas sa crédibilité. Au contraire, elles la renforçaient. Un tel raisonnement, en particulier concernant des faits antérieurs de près de 4 ans à l'ouverture de l'instruction pénale n'apparaît pas insoutenable dans son principe. Une appréciation arbitraire des preuves ne pourra dès lors être admise que si le recourant démontre l'existence d'éléments rendant insoutenables ce raisonnement et la crédibilité donnée au récit de l'intimée.
Le recourant tente d'établir l'existence de divergences en comparant les déclarations faites par l'intimée durant la procédure pénale et celles faites, selon son interprétation, au cours de l'enquête menée par C._. Il ne démontre toutefois pas qu'il était insoutenable de nier à ces dernières toute portée, comme l'a fait l'autorité cantonale. On ne saurait dès lors tenir compte de celles-ci. Le grief du recourant est partant irrecevable à cet égard.
Le recourant invoque que l'intimée aurait déclaré avoir été violée en été 2001. La lecture des pièces invoquées ne permet toutefois pas de confirmer l'existence de telles déclarations. Le recourant conteste que l'intimée ait logé en décembre 2001 chez sa s?ur E._, lieu où le viol a été commis. A l'appui de ce grief, il invoque notamment le témoignage de E._. Or celle-ci a attesté que l'intimée était bien chez elle, seule, en décembre 2001 (pièce 140). Cette déclaration, appuyant celle de l'intimée (pièce 31) et que le recourant passe sous silence, permettait de retenir sans arbitraire que l'intimée se trouvait bien dans l'appartement de sa s?ur au moment du drame.
Pour le surplus, le recourant soulève de très nombreux éléments résultant du dossier (libération dans le cadre d'accusations portées contre le recourant par d'autres parties civiles, absence de date précise du viol, détails de l'attitude des parties pendant l'agression, assistance ou non de l'intimée à des consultations psychologiques en mars 2002, etc.). Il ne démontre toutefois pas que l'un ou l'autre de ces faits rendrait manifestement insoutenable la décision de se fonder sur les accusations de l'intimée. Ainsi, la portée donnée aux déclarations faites par des tierces personnes dans le cadre d'accusations différentes ne saurait rendre insoutenable celle donnée aux déclarations de l'intimée. De même, quatre ans après les faits, que l'intimée se trompe sur le lieu de vacances de sa s?ur E._ au moment du drame ne rend pas non plus à lui seul insoutenable de considérer comme crédibles les accusations de viol portées à l'encontre du recourant, corroborées par les témoignages de ceux qui ont recueilli les confidences de l'intimée. Quant à la date du viol, l'intimée l'a arrêtée à "fin 2001", "durant les fêtes de Noël 2001", sans certes préciser ni le jour ni l'heure précis. Cette imprécision n'est toutefois pas suffisante pour rendre arbitraire la crédibilité accordée à ses dires.
5.3.4 Enfin, le recourant estime qu'il ne pouvait être reconnu comme l'auteur du viol subi par l'intimée, dans la mesure où celle-ci avait "avoué" à plusieurs médecins que cet acte avait été commis par un employeur à Lausanne, fonction que n'a jamais eu le recourant envers l'intimée.
Le recourant ne démontre pas en quoi il était arbitraire de considérer que la mention d'employeur dans les notes de la doctoresse B._ pouvait provenir d'une erreur de compréhension de la part de ce médecin, qui avait recueilli les déclarations de l'intimée sans l'assistance d'un interprète (pièce 274 et cf. supra consid. 5.3.1). Le recourant invoque plusieurs faits censés remettre en question la crédibilité de ce médecin. Ces faits ne résultent pas de l'arrêt de la Cour de cassation et le recourant n'invoque pas ni ne démontre l'arbitraire de leur omission. Il ne peut dès lors en être tenu compte ici.
Le recourant invoque également le contenu de notes établies selon lui par d'autres personnes. La Cour de cassation a uniquement examiné le grief d'arbitraire à la lumière des annotations de la doctoresse B._ (arrêt du 9 avril 2010, p. 9). Le recourant ne soutient pas que ce faisant la Cour de cassation aurait violé ses droits constitutionnels et notamment commis un déni de justice formel, en ne traitant pas le moyen relativement à d'autres notes. Le grief d'arbitraire formulé devant le Tribunal fédéral sur la base de notes établies par d'autres personnes est dès lors irrecevable faute d'épuisement des instances cantonales (cf. <ref-law>; <ref-ruling> consid. 2.1 p. 93).
5.3.5 Le recourant présente encore de très nombreux faits qui ne résultent pas des arrêts attaqués. Faute pour lui de démontrer, conformément aux exigences strictes posées par l'<ref-law>, en quoi leur omission était arbitraire, il n'en sera pas tenu compte.
5.3.6 Il résulte de ce qui précède que le grief d'arbitraire dans l'appréciation des preuves et l'établissement des faits est infondé dans la mesure où il est recevable. Il en va de même du grief de violation de la présomption d'innocence qui, tel qu'invoqué par le recourant, n'a pas de portée propre et se confond avec celui d'arbitraire.
6. Le recours devra être rejeté dans la mesure où il est recevable. Les conclusions étaient vouées à l'échec. L'assistance judiciaire ne peut partant être accordée au recourant (<ref-law>). Celui-ci supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Cour correctionnelle sans jury et à la Cour de cassation du canton de Genève.
Lausanne, le 14 février 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod