Faits:
A. Par arrêt du 27 septembre 2010, la Chambre pénale de la Cour de justice du canton de Genève, siégeant sous la présidence du juge Y._, a confirmé la condamnation prononcée le 28 janvier 2010 par le Tribunal de police du canton de Genève de X._, pour infraction grave à la LStup et blanchiment d'argent, à une peine privative de liberté de deux ans, peine ferme et partiellement complémentaire.
Par jugement du 3 mai 2011, le Tribunal d'application des peines et mesures du canton de Genève a refusé d'accorder à X._ sa libération conditionnelle.
A la suite de l'appel déposé par ce dernier contre ce jugement, le juge Y._, Président de la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève, a rendu une ordonnance préparatoire le 7 juin 2011.
Le 8 juin suivant, X._ a requis la récusation de ce magistrat.
B. Par arrêt du 5 août 2011, la Chambre pénale d'appel et de révision, statuant sans le concours du juge Y._, a rejeté cette demande. En bref, elle a considéré que ce juge était intervenu à deux reprises dans les mêmes fonctions et, subsidiairement, que dans certains cas un magistrat pouvait intervenir à différents titres sans violer l'art. 30 Cst. Elle a en outre jugé que les deux procédures n'avaient pas le même objet. Enfin, elle a estimé que les appréciations portées à deux reprises par l'autorité d'appel ne constituaient pas des causes de récusation au sens de l'art. 56 let. f CPP.
C. X._ forme un recours en matière pénale. Il conclut à l'annulation de l'arrêt cantonal et à ce qu'il soit dit que le juge Y._ avait l'obligation de se récuser. Il sollicite également le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale.
2. Le recourant invoque une violation des art. 56 ss CPP, 30 Cst. et 6 par. 1 CEDH.
2.1 Le CPP règle la poursuite et le jugement, par les autorités pénales de la Confédération et des cantons, des infractions prévues par le droit fédéral (art. 1 CPP). Il ne régit en revanche pas la procédure d'exécution des jugements rendus, qui demeure de la compétence des cantons, sauf dispositions spéciales du CPP ou du CP (cf. art. 123 al. 2 Cst. et 439 al. 1 CPP).
En l'occurrence, aucune disposition fédérale ne soumet la récusation d'un magistrat participant à une procédure d'exécution d'un jugement, en particulier celle de libération conditionnelle, aux art. 56 ss CPP. Ces articles ne sont partant pas directement applicables au cas d'espèce.
Le recourant ne peut dès lors invoquer que les garanties découlant des art. 30 al. 1 Cst. et 6 par. 1 CEDH.
2.2 La garantie d'un tribunal indépendant et impartial instituée par ces dispositions permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité (<ref-ruling> consid. 3a p. 73). Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2.1 p. 608; <ref-ruling> consid. 4.2 p. 21; <ref-ruling> consid. 1.1 p. 25).
Les motifs de récusation mentionnés à l'art. 56 CPP concrétisent ces garanties (arrêts 1B_290/2011 du 11 août 2011 consid. 2.1; 1B_488/2011 du 2 décembre 2011 consid. 3; 1B_448/2011 du 11 novembre 2011 consid. 3). Ils imposent notamment la récusation d'un magistrat lorsqu'il a agi à un autre titre dans la même cause, en particulier comme membre d'une autorité, conseil juridique d'une partie, expert ou témoin (art. 56 let. b CPP) ou lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention (art. 56 let. f CPP). Cette dernière disposition a la portée d'une clause générale (arrêts 1B_415/2011 du 25 octobre 2011 consid. 2.1; 1B_290/2011 du 11 août 2011 consid. 2.1; 1B_131/ 2011 du 2 mai 2011 consid. 3.1). Les garanties constitutionnelle et conventionnelle découlant des art. 30 Cst. et 6 par. 1 CEDH peuvent dès lors être examinées à la lumière de l'art. 56 CPP, quand bien même cette disposition n'est pas d'application directe en l'occurrence.
Cette disposition, à l'instar de l'art. 47 al. 1 CPC, est calquée sur l'<ref-law> (cf. Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1026 ad art. 54 [ancien art. 56]). On peut donc se référer pour son interprétation à la doctrine et la jurisprudence développées concernant cette dernière disposition, ainsi qu'à celles relatives aux art. 22 et 23 aOJ (arrêt 2F_2/2007 du 25 avril 2007 consid. 3.2; ANDREAS J. KELLER, in: Kommentar zur Schweizerischen Strafprozessordnung, 2010, n. 12 et 15 ad art. 56 CPP).
2.3 Le recourant estime que l'intimé aurait dû se récuser ayant agi dans la même cause à des titres différents.
2.3.1 La notion de "même cause" visée à l'art. 56 let. b CPP s'entend de manière formelle (JEAN-MARC VERNIORY, in: CPP, Commentaire Romand, 2011, n° 16 ad art. 56 CPP), c'est-à-dire comme la procédure ayant conduit à la décision attaquée ou devant conduire à celle attendue. Elle n'englobe en revanche pas une procédure distincte ou préalable se rapportant à la même affaire au sens large, soit au même ensemble de faits et de droits concernant les mêmes parties (YVES DONZALLAZ, Loi sur le Tribunal fédéral, 2008, n. 545 ad <ref-law>; JEAN-FRANÇOIS POUDRET, Commentaire de la loi fédérale d'organisation judiciaire, vol. 1 1990, n. 3.1 ad art. 22 OJ et auteurs cités). Elle implique ainsi une identité des parties, des procédures et des questions litigieuses (cf. <ref-ruling> consid. 3.2 p. 92; <ref-ruling> consid. 2d p. 237; KELLER, op. cit., n° 16 ad art. 56 CPP).
En l'espèce, l'objet de la première procédure, close par arrêt du 27 septembre 2010, tendait à statuer sur la culpabilité du recourant, la peine éventuelle à prononcer à son encontre et, cas échéant, la réalisation, au moment du jugement, des conditions permettant de suspendre cette peine (<ref-law>). Dans la seconde procédure en revanche, il s'agissait uniquement de déterminer si la peine prononcée pouvait faire l'objet d'une libération conditionnelle au sens de l'<ref-law>. A l'instar de la solution qui prévaut pour une procédure de condamnation d'une part et une procédure tendant à la révocation du sursis ou de la libération conditionnelle d'autre part (cf. arrêt 1P.409/1997 du 27 octobre 1997 consid. 4a; MARKUS BOOG, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n. 18 ad art. 56 CPP; NIKLAUS SCHMID, Handbuch des schweizerischen Strafprozessrechts, 2009, n° 516 p. 198), on a donc affaire à deux procédures distinctes, traitant de questions différentes. Elles ne forment partant pas une même cause au sens exposé ci-dessus.
2.3.2 Le cas de récusation visé par l'art. 56 let. b CPP présuppose également que le magistrat ait agi à un autre titre, soit dans des fonctions différentes. Ne sont pas considérés comme tels le juge qui doit trancher à nouveau d'une cause suite à l'annulation de sa décision et au renvoi de la cause par l'autorité de recours (FF 2006 1026 ad art. 54 [ancien art. 56]; BOOG, op. cit., n. 17 et 28 ad art. 56 CPP et références citées), les juges d'appel qui ont à examiner à nouveau l'affaire qu'ils ont renvoyée à l'autorité inférieure (VERNIORY, op. cit., n. 21 ad art. 56 CPP se référant à l'arrêt de la CourEDH Lindon, Otchakovsky-Laurens et July c. France du 22 octobre 2007, par. 79) ou le juge qui tranche plusieurs recours subséquents ou concomitants (FLORENCE AUBRY GIRARDIN, in: Commentaire de la LTF, 2009, n° 18 ad <ref-law>; DONZALLAZ, op. cit., n. 549 ad <ref-law>). En outre, en cas de modification de l'organisation judiciaire, la participation d'un juge à l'instruction de la même cause auprès de l'une des anciennes autorités de recours remplacée par le nouveau tribunal ne constitue pas un motif de récusation (arrêt 2C_755/2008 du 7 janvier 2009 consid. 3.1.2; DONZALLAZ, op. cit., n. 552 ad <ref-law>; ISABELLE HÄNER, in: Basler Kommentar, Bundesgerichtsgesetz, 2e éd. 2011, n. 9 ad <ref-law>).
En l'espèce, Y._ a siégé en 2010 comme membre de la Chambre pénale dans le cadre de la procédure d'appel à l'encontre de la condamnation du recourant à une peine ferme. En 2011, il a fonctionné comme membre de la Chambre pénale d'appel et de révision dans le cadre de la procédure concernant le refus de libérer conditionnellement le recourant de l'exécution de cette condamnation.
Dès le 1er janvier 2011, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a remplacé la Chambre pénale, jusqu'ici compétente pour trancher les appels formés contre les jugements rendus par les tribunaux de première instance (cf. art. 130 al. 1 let. a de la loi genevoise du 26 septembre 2010 sur l'organisation judiciaire (RSG E 2 05), entrée en vigueur le 1er janvier 2011; art 35C let. a de la loi genevoise du 22 novembre 1941 sur l'organisation judiciaire, abrogée au 1er janvier 2011). Y._ est ainsi dans les deux cas intervenu comme membre de la Cour de justice. Il n'a donc pas agi à un autre titre au sens de l'art. 56 let. b CPP (dans ce sens, arrêt 6B_556/2010 du 18 janvier 2011 consid. 1.3.3; DONZALLAZ, op. cit., n. 549 ad. <ref-law>; POUDRET, op. cit., n. 3.2 ad art. 22 OJ).
2.3.3 A noter au demeurant que le cas d'espèce ne correspond pas aux hypothèses prévues par le CPP, qui interdit dans certaines situations qu'un même juge intervienne successivement sur deux questions touchant une même personne (cf. art. 18 al. 2, 21 al. 2 et 3 CPP), étant par ailleurs rappelé que le CPP ne s'applique pas directement ici (cf. supra consid. 2.1).
2.4 Reste à examiner, à l'instar de ce que prévoit l'art. 56 let. f CPP, si d'autres motifs imposaient à l'intimé de se récuser, l'impartialité subjective d'un magistrat se présumant toutefois jusqu'à preuve du contraire (<ref-ruling> consid. 3.2.1, p. 609; arrêt de la CourEDH Lindon, par. 76; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, 2009, n. 14 ad art. 56).
2.4.1 La jurisprudence a renoncé à résoudre une fois pour toutes et de manière générale la question de savoir si, et quelles interventions successives d'un magistrat peuvent contrevenir aux art. 30 al. 1 Cst. et 6 par. 1 CEDH (ATF <ref-ruling> consid. 1.2 p. 26). Elle a toutefois considéré que la garantie du juge impartial ne commandait pas la récusation d'un juge au simple motif qu'il aurait, dans une procédure antérieure, tranché en défaveur du recourant (<ref-ruling>, consid. 4.2.2.2, p. 466; <ref-ruling> consid. 1 p. 279; arrêts 1B_415/2011 du 25 octobre 2011 consid. 2.1; 2C_755/2008 du 7 janvier 2009 consid. 3.2; 6B_75/2007 du 23 juillet 2007 consid. 2.2). Dans un tel cas, il faut au contraire examiner les fonctions procédurales que le magistrat a été appelé à exercer lors de son intervention précédente, prendre en compte les questions successives à trancher à chaque stade de la procédure et mettre en évidence leur éventuelle analogie ou leur interdépendance. L'issue de la cause doit demeurer indécise quant à la constatation des faits et la résolution des questions juridiques (<ref-ruling> consid. 3.4 p. 116-117 et références citées; 24 consid. 1.2 p. 26; également 133 I 89 consid. 3.2 p. 92).
2.4.2 Il résulte de ce qui précède que le seul fait que le magistrat visé ait siégé et siège au sein des deux autorités ayant traité et traitant successivement de questions en rapport avec le recourant ne suffit pas à lui seul à fonder une obligation de récusation (cf. BOOG, op. cit., n. 19 ad art. 56 CPP).
2.4.3 Le recourant soutient que le magistrat aurait objectivement préjugé de sa libération conditionnelle en retenant, dans la première procédure, les éléments propres à la fixation de la peine et en posant un pronostic défavorable "en des termes très durs".
Le recourant n'explique pas en quoi les éléments pris en compte par la Chambre pénale dans son arrêt du 27 septembre 2010 pour confirmer la quotité de la peine prononcée - à savoir la gravité de la faute vu le montant en espèces et la quantité de cocaïne transportée, le mobile égoïste et la collaboration médiocre du recourant, ses excuses de circonstance et le concours d'infractions - permettraient de redouter l'impartialité de l'intimé pour la procédure subséquente de libération conditionnelle. Dans ces conditions, le grief ne peut qu'être rejeté.
Quant au pronostic défavorable relatif au refus du sursis, implicitement confirmé par la Chambre pénale dans son arrêt du 27 septembre 2010, celle-ci a uniquement retenu que les antécédents du recourant étaient mauvais, dans la mesure où il avait été condamné à quatre reprises au cours des cinq années précédentes, dont deux fois pour des faits semblables à ceux à l'origine de la procédure en question. Selon cette autorité, le recourant ne pouvait dès lors prétendre au sursis, en relevant que ce dernier n'était même pas plaidé par l'intéressé. Une telle motivation, fondée sur des éléments factuels indiscutables, n'apparaît pas spécialement "dure". Pour le surplus, la question d'une libération conditionnelle ne se pose logiquement que lorsque le sursis a été refusé. Le refus du sursis, fondé sur l'<ref-law>, n'implique par conséquent pas celui de la libération conditionnelle, soumis à d'autres conditions (<ref-law>) et tranché dans le cadre d'une autre procédure. En l'absence d'autres éléments, la seule confirmation du refus d'accorder le sursis ne suffit pas à considérer que l'intimé a arrêté par là définitivement son avis sur une future demande de libération conditionnelle et donc qu'il est partial.
2.4.4 Le recourant rappelle encore que, sur sa demande, la juge Z._, ayant siégé au fond au Tribunal de police et devant fonctionner comme membre du Tribunal d'application des peines et mesures, aurait été, avec son accord, récusée (recours, p. 10-11). Une telle décision, rendue à l'encontre d'un autre magistrat siégeant dans une autre instance que l'intimé, ne permet pas à elle seule et sans autre élément, de remettre en cause l'impartialité de ce dernier.
2.4.5 Le recourant n'invoque pas l'existence d'autres indices faisant redouter, au moment du dépôt de la demande de récusation, une telle partialité. Il ressort en outre des deux décisions rendues par les autorités auxquelles l'intimé a participé que la question à trancher dans le deuxième cas - soit celle de savoir si le recourant pouvait se voir accorder la libération conditionnelle - a été examinée indépendamment du sort donné à celle tranchée dans la première procédure - soit celle de déterminer si le recourant remplissait les conditions permettant le sursis. Dans son arrêt du 28 juin 2011, la Chambre pénale d'appel et de révision a en effet examiné l'ensemble des critères posés par l'<ref-law> et justifié, en p. 5 et 6, le refus d'accorder la libération conditionnelle au recourant non seulement au vu de ses condamnations passées, mais également du fait qu'une précédente libération conditionnelle avait échoué, le recourant ayant récidivé quelques mois après sa libération. Elle a également pris acte des déclarations faites par le recourant dans le cadre de la procédure d'examen de sa demande de libération conditionnelle quant à ses projets professionnels. Elle a toutefois estimé qu'il ne s'agissait pas d'éléments susceptibles de jouer en faveur du recourant, dans la mesure où ses dires n'étaient étayés par aucun projet concret ni pièce et semblaient peu réalisables au vu des problèmes de dos dont le recourant s'était plaint et de l'incertitude quant au renouvellement de son permis de séjour. Quant au désir exprimé par le recourant de reprendre la vie conjugale avec son épouse, aucune pièce n'établissait que celle-ci voulait l'héberger. Il n'était au demeurant pas prouvé qu'ils aient eu un domicile commun. Enfin, la Chambre pénale d'appel et de révision a estimé que le seul désir du recourant de retrouver son épouse ne suffisait pas à éviter qu'il récidive puisque cette union ne l'avait pas empêché, par le passé, de commettre de nouvelles infractions. Contrairement à ce que soutient le recourant, la Chambre pénale d'appel et de révision a ainsi fondé sa décision non pas sur le pronostic défavorable implicitement retenu par la Chambre pénale dans son arrêt du 27 septembre 2010 lors de la confirmation de la condamnation ferme du recourant, mais a examiné si le recourant avait évolué depuis.
Dans ces conditions, l'autorité précédente pouvait, sans violer le droit constitutionnel ou conventionnel, rejeter la demande de récusation du recourant.
3. Le recourant succombe. Ses conclusions étaient vouées à l'échec. L'assistance judiciaire doit lui être refusée (<ref-law>). Le recourant supportera les frais de la procédure, fixés en tenant compte de sa situation financière défavorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève.
Lausanne, le 19 décembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod