Faits:
A. Par arrêt du 2 mars 2009, la Cour d'assises du canton de Genève a condamné X._ pour viol à une peine privative de liberté de 6 ans.
Le 15 octobre 2010, le Tribunal d'application des peines et mesures du canton de Genève (TAPEM) a prononcé la libération conditionnelle de X._ pour le 29 octobre 2010, le solde de la peine à exécuter étant de 2 ans. Il a ordonné à titre de règle de conduite durant le délai d'épreuve, fixé à 2 ans, le suivi d'un traitement ambulatoire psychothérapeutique et addictologique (alcool et stupéfiants) avec obligation de remettre une attestation au Service d'application des peines et mesures (SAPEM) tous les trois mois. Il a également ordonné une assistance de probation durant le délai d'épreuve, X._ devant se présenter au Service de probation et d'insertion (SPI) au moins une fois par mois.
Par jugement du 7 avril 2011, le TAPEM a ordonné la réintégration de X._ pour le solde de la peine prononcée le 2 mars 2009.
B. Par arrêt du 5 juillet 2011, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté le recours de X._ contre ce jugement.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, sous suite de dépens, à son annulation. Il sollicite par ailleurs l'assistance judiciaire.
La cour cantonale se réfère à son arrêt. Le Ministère public conclut au rejet du recours.

Considérant en droit:
1. Le recours en matière pénale est ouvert contre les décisions sur l'exécution de peines et mesures (<ref-law>).
2. Le recourant s'est borné à prendre une conclusion en annulation. On comprend toutefois suffisamment de ses motifs qu'il entend obtenir la réforme de la décision attaquée en ce sens que sa réintégration n'est pas prononcée. Il y a ainsi lieu d'admettre que le mémoire comporte une conclusion suffisante.
3. Se plaignant d'appréciation arbitraire des preuves, le recourant soutient que la cour cantonale a omis de prendre en compte l'avis du SAPEM du 25 janvier 2011. Il met en exergue un passage, dont il déduit que la cour cantonale ne pouvait pas retenir un risque de récidive d'infractions graves.
De la sorte, le recourant se contente d'une argumentation appellatoire, partant irrecevable (<ref-ruling> consid. 4.2.3 p. 5). Quoi qu'il en soit, la cour cantonale n'a pas omis l'avis du SAPEM du 25 janvier 2011 (cf. arrêt, p. 4). Elle s'est fondée sur différents éléments pour conclure qu'un risque de récidive ne pouvait être exclu, en particulier au vu de la situation de précarité totale du recourant, son abus d'alcool et de cannabis ainsi que l'expertise du 18 juin 2007 (cf. arrêt p. 8). La prise en compte de ces éléments est exempte d'arbitraire.
4. Le recourant invoque une violation des art. 89 al. 3 et 95 al. 3 à 5 CP. Il relève qu'il n'a pas violé la règle de conduite fixée ni ne s'est soustrait à l'assistance de probation. Selon lui, une révocation de sa libération était ainsi exclue.
4.1 Aux termes de l'<ref-law>, l'art. 95 al. 3 à 5 CP est applicable si la personne libérée conditionnellement se soustrait à l'assistance de probation ou si elle viole les règles de conduite. Selon l'<ref-law>, si le condamné se soustrait à l'assistance de probation, s'il viole les règles de conduite ou si l'assistance de probation ou les règles de conduite ne peuvent plus être exécutées ou ne sont plus nécessaires, l'autorité compétente présente un rapport au juge ou à l'autorité d'exécution. Dans les cas prévus à l'al. 3, le juge ou l'autorité d'exécution peut prolonger le délai d'épreuve jusqu'à concurrence de la moitié de sa durée, lever l'assistance de probation ou en ordonner une nouvelle, ou encore modifier les règles de conduite, les révoquer ou en imposer de nouvelles (art. 95 al. 4 let. a à c CP). Dans les cas prévus à l'art. 95 al. 3, le juge peut aussi révoquer le sursis ou ordonner la réintégration dans l'exécution de la peine ou de la mesure s'il est sérieusement à craindre que le condamné ne commette de nouvelles infractions (<ref-law>).
4.2 Dès lors que l'<ref-law> renvoie à l'<ref-law>, il convient tout d'abord de déterminer si une révocation est envisageable uniquement en cas de soustraction à l'assistance de probation ou de violation des règles de conduite comme le prévoit l'<ref-law> ou si elle entre également en ligne de compte lorsque l'assistance de probation ou les règles de conduite ne peuvent plus être exécutées comme le mentionne expressément l'<ref-law>.
L'articulation des art. 89 al. 3 et 95 al. 3 CP n'est pas claire. Selon un courant de doctrine, si l'assistance de probation ou les règles de conduite ne peuvent plus être exécutées, la responsabilité en incombe au premier chef à l'autorité d'exécution qui les a ordonnées et non au condamné. Cela ne peut aboutir à une révocation. De même, si l'assistance de probation ou les règles de conduite ne sont plus nécessaires, cela ne peut que signifier que le danger de récidive qu'elles devaient prévenir n'existe plus, ce qui exclut ainsi un motif de révocation (cf. GÜNTER STRATENWERTH, Schweizerisches Strafrecht, Allgemeiner Teil II, 2e éd. 2006, n. 85 § 4 p. 116-117; GÜNTER STRATENWERTH/WOLFGANG WOHLERS, Schweizerisches Strafgesetzbuch, Handkommentar, 2e éd. 2009, n. 3 ad <ref-law>). Un autre courant de doctrine considère que si l'assistance de probation ou les règles de conduites ne peuvent plus être exécutées, quel qu'en soit le motif, cela est de nature à modifier le pronostic posé au moment de la libération de sorte qu'une révocation est alors envisageable (cf. ANDREA BAECHTOLD, Basler Kommentar, Strafrecht I, 2e éd. 2007, n. 9 ad <ref-law>). Cette dernière approche doit être privilégiée. Il est en effet légitime de pouvoir tenir compte de l'influence de l'assistance de probation ou des règles de conduite, qui sont destinées à prévenir de nouvelles infractions et à l'effet desquelles est liée la décision d'accorder la libération conditionnelle (cf. infra consid. 4.3.2; également arrêt 6B_75/2010 du 6 mai 2010 consid. 2.2). Si les mesures précitées ne peuvent plus être exécutées, cette modification des circonstances doit pouvoir être prise en considération, comme le prévoit expressément l'<ref-law>. Il résulte de ce qui précède que le renvoi de l'<ref-law> à l'<ref-law> inclut aussi l'hypothèse visée par cette dernière disposition que les mesures ne peuvent plus être exécutées.
4.3 Reste à déterminer ce qu'il faut entendre par assistance de probation ou règles de conduite "qui ne peuvent plus être exécutées" selon l'<ref-law>.
4.3.1 La loi s'interprète en premier lieu selon sa lettre (interprétation littérale). Si le texte n'est pas absolument clair, si plusieurs interprétations sont possibles, il convient de rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment des travaux préparatoires (interprétation historique), du but de la règle, de son esprit, ainsi que des valeurs sur lesquelles elle repose, singulièrement de l'intérêt protégé (interprétation téléologique) ou encore de sa relation avec d'autres dispositions légales (interprétation systématique). Le Tribunal fédéral ne privilégie aucune méthode d'interprétation, mais s'inspire d'un pluralisme pragmatique pour rechercher le sens véritable de la norme. Il ne se fonde sur la compréhension littérale du texte que s'il en découle sans ambiguïté une solution matériellement juste (<ref-ruling> consid. 3.2 p. 251; 180 consid. 3.4 p. 184 et arrêts cités).
4.3.2 Le texte de l'<ref-law> ne fournit pas d'éclairage sur la notion d'assistance de probation ou de règles de conduite "qui ne peuvent plus être exécutées". Selon une interprétation téléologique et systématique, ces mesures sont des mesures d'accompagnement qui tendent non seulement à permettre la réinsertion du condamné mais qui visent aussi à réduire le danger de récidive pendant la période d'épreuve. Ce dernier objectif ressort expressément de l'<ref-law>. L'assistance de probation et les règles de conduite impliquent donc de tenir compte de la sécurité publique, qui a déjà été lésée par l'infraction ayant donné lieu à la privation de liberté, objet de la libération conditionnelle (cf. Message du 21 septembre 1998 concernant la modification du code pénal suisse, FF 1999 1787 ss, 1932 ch. 215).
Il résulte de ce qui précède que l'exécutabilité de l'assistance de probation ou de règles de conduite, en tant que mesure d'accompagnement de la décision de libération conditionnelle, ne doit pas être examinée uniquement sous l'angle du respect par le condamné des modalités de la mesure en question, mais aussi en tenant compte du but de sécurité publique poursuivi. Si la mesure ne peut plus atteindre cet objectif, elle doit être considérée comme n'étant plus exécutable au sens de l'<ref-law>. En pareil cas, l'autorité a alors la possibilité de réaménager la mesure selon l'<ref-law> ou de prononcer la réintégration au sens de l'<ref-law> (dans ce sens, MICHEL PERRIN, Commentaire romand, Code pénal I, 2009, n. 17 in fine ad <ref-law>, qui ne préconise toutefois dans ces circonstances qu'un réaménagement au sens de l'<ref-law>, sans envisager une révocation selon l'<ref-law>; cf. aussi STRATENWERTH/WOHLERS, op. cit., n. 3 ad <ref-law> qui stigmatisent la formulation de la loi qui ne prévoit pas la possibilité, pourtant souhaitable, d'adapter la situation, lorsque la mesure ordonnée ne peut atteindre son but; STEFAN TRECHSEL ET AL., Schweizerisches Strafgesetzbuch Praxiskommentar, 2008, n. 6 ad <ref-law>, qui relève uniquement que la possibilité qu'une mesure ne soit plus appropriée n'est pas prévue par la loi). Cette interprétation est conforme à la volonté exprimée par le message du Conseil fédéral - certes non expressément concrétisée dans le projet ou la loi finalement adoptée - selon laquelle la révocation de la libération conditionnelle doit être ordonnée si la perspective de probation pour le condamné s'est détériorée "pour une raison quelconque" pendant le temps d'épreuve, au point que seule l'exécution de la peine semble selon toute probabilité la sanction la plus efficace (FF 1999 1938 ch. 215.3 [à noter que ce passage comporte en français une erreur de plume en se référant à une "lettre b", lettre que ne prévoyait pas le projet, cf. FF 1999 2134 ad art. 95 et Bundesblatt 1999 2131 ch. 215.3]).
4.3.3 Le recourant a bénéficié d'une libération conditionnelle assortie d'une assistance de probation et de règles de conduite. L'absence de pronostic défavorable quant au risque de récidive dépendait de l'effet attendu des mesures ordonnées. La cour cantonale a retenu que le recourant ne s'était pas soustrait à l'assistance de probation et, sous réserve de quelques entorses peu caractérisées, n'avait pas violé les règles de conduite imposées (cf. arrêt, consid. 3.2 p. 7). Toutefois, nonobstant le respect de ces mesures par le recourant, il est apparu que celles-ci n'ont pas eu l'effet escompté. Compte tenu de la situation du recourant qui s'est dégradée, elles ne permettaient plus d'atteindre le but pour lesquelles elles avaient été instaurées, soit éviter, à tout le moins limiter le risque de récidive (arrêt, ch. 3.2 p. 7-8). Dans ces conditions, il faut considérer que les mesures ne pouvaient plus être exécutées au sens de l'<ref-law>. La cour cantonale pouvait ainsi sans violer le droit fédéral envisager une réintégration selon l'<ref-law>.
5. Le recourant invoque une violation du principe de proportionnalité, au motif que l'autorité précédente aurait ordonné la réintégration, sur la base de l'<ref-law>, sans examiner les possibilités de réaménager les mesures existantes ou de prononcer des mesures supplémentaires au sens de l'<ref-law>.
L'autorité cantonale a constaté, sans arbitraire, qu'il existait un risque de récidive d'infractions graves (cf. supra consid. 3), se référant aux constats de l'autorité de première instance (arrêt, ch. 3 p. 8 ), qui avait retenu un risque concret et patent de récidive (jugement, let. A p. 7). Les conditions de l'<ref-law>, permettant d'ordonner la réintégration, étaient par conséquent données. Cela étant, il est exact que le choix de la mesure doit respecter le principe de proportionnalité, selon lequel l'atteinte aux droits de la personnalité qui résulte pour la personne visée par une mesure ne doit pas être disproportionnée au regard de la vraisemblance qu'elle commette de nouvelles infractions et de leur gravité (arrêt 6B_27/2011 du 5 août 2011 consid. 7.1). Le recourant n'explique pas concrètement en quoi ce principe aurait été violé, notamment ne dit pas quelle possibilité prévue par l'<ref-law> aurait permis de limiter, à elle seule, à un niveau acceptable le risque de récidive d'infractions graves retenu. Il n'apparaît pas que l'une des mesures prévues par cette disposition ait été de nature à réduire sensiblement ce risque. Il faut à cet égard souligner que ce risque de récidive concerne la commission d'actes graves susceptibles de porter atteinte à l'intégrité physique de personnes, le recourant ayant été précédemment condamné pour viol à une peine privative de liberté de 6 ans. La décision de réintégration fondée sur l'<ref-law> ne viole donc pas le principe de proportionnalité.
6. Le recours doit partant être rejeté, dans la mesure de sa recevabilité.
Dès lors que le recourant est dans le besoin et que ses conclusions ne paraissaient pas d'emblée vouées à l'échec, l'assistance judiciaire doit lui être accordée (<ref-law>). Le recourant requiert la désignation de Me Nicola Meier en qualité d'avocat d'office. Il y a lieu d'accéder à cette requête et de fixer d'office les honoraires de l'avocat, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est admise. Me Nicola Meier est désigné en qualité de conseil d'office du recourant pour la procédure devant le Tribunal fédéral.
3. Il n'est pas perçu d'émolument judiciaire.
4. Une indemnité de 3'000 fr. sera versée au conseil du recourant par la caisse du Tribunal fédéral.
5. Le présent arrêt est communiqué aux parties et à la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève.
Lausanne, le 16 mars 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod